\documentclass[12pt, a4paper, twoside]{ctexbook}
\usepackage[top=2.5cm, bottom=2.5cm, left=2cm, right=2cm]{geometry}
\usepackage{eso-pic, amsmath, amsthm, amssymb, bm, graphicx, transparent, mathrsfs, booktabs, tikz, tikz-cd, pgfplots, fancyhdr}
\usetikzlibrary{patterns}

\usepackage[hidelinks]{hyperref} %这个负责交叉引用, [取消红框]

% for adjustwidth environment
\usepackage[strict]{changepage}

% for formal definitions
\usepackage{framed}

% environment derived from framed.sty: see leftbar environment definition
%------------------------------------------------------
\definecolor{formalshade}{RGB}{230,230,250}  % 浅色阴影

\newenvironment{ftheorem}{%
  \def\FrameCommand{%
    \hspace{1pt}%
    {\color{blue}\vrule width 2pt}%
    {\color[rgb]{1,1,1}\vrule width 10pt}%
   % \colorbox{formalshade}%
  }%
  \MakeFramed{\advance\hsize-\width\FrameRestore}%
  \noindent\hspace{-4.55pt}% disable indenting first paragraph
  \begin{adjustwidth}{}{7pt}%
  \vspace{-14pt}\vspace{2pt}%
}
{%
  \vspace{2pt}\end{adjustwidth}\endMakeFramed%
}

\newenvironment{fdefinition}{%
  \def\FrameCommand{%
    \hspace{1pt}%
    {\color{red}\vrule width 2pt}%
    {\color[rgb]{1,1,1}\vrule width 10pt}%
   % \colorbox{formalshade}%
  }%
  \MakeFramed{\advance\hsize-\width\FrameRestore}%
  \noindent\hspace{-4.55pt}% disable indenting first paragraph
  \begin{adjustwidth}{}{7pt}%
  \vspace{-14pt}\vspace{2pt}%
}
{%
  \vspace{2pt}\end{adjustwidth}\endMakeFramed%
}

\newenvironment{fexample}{%
  \def\FrameCommand{%
    \hspace{1pt}%
    {\color{black}\vrule width 2pt}%
    {\color[rgb]{1,1,1}\vrule width 10pt}%
   % \colorbox{formalshade}%
  }%
  \MakeFramed{\advance\hsize-\width\FrameRestore}%
  \noindent\hspace{-4.55pt}% disable indenting first paragraph
  \begin{adjustwidth}{}{7pt}%
  \vspace{-14pt}\vspace{2pt}%
}
{%
  \vspace{2pt}\end{adjustwidth}\endMakeFramed%
}

\newenvironment{fproposition}{%
  \def\FrameCommand{%
    \hspace{1pt}%
    {\color{brown}\vrule width 2pt}%
    {\color[rgb]{1,1,1}\vrule width 10pt}%
   % \colorbox{formalshade}%
  }%
  \MakeFramed{\advance\hsize-\width\FrameRestore}%
  \noindent\hspace{-4.55pt}% disable indenting first paragraph
  \begin{adjustwidth}{}{7pt}%
  \vspace{-14pt}\vspace{2pt}%
}
{%
  \vspace{2pt}\end{adjustwidth}\endMakeFramed%
}

\newenvironment{flemma}{%
  \def\FrameCommand{%
    \hspace{1pt}%
    {\color{purple}\vrule width 2pt}%
    {\color[rgb]{1,1,1}\vrule width 10pt}%
   % \colorbox{formalshade}%
  }%
  \MakeFramed{\advance\hsize-\width\FrameRestore}%
  \noindent\hspace{-4.55pt}% disable indenting first paragraph
  \begin{adjustwidth}{}{7pt}%
  \vspace{-14pt}\vspace{2pt}%
}
{%
  \vspace{2pt}\end{adjustwidth}\endMakeFramed%
}

\newenvironment{fcorollary}{%
  \def\FrameCommand{%
    \hspace{1pt}%
    {\color{orange}\vrule width 2pt}%
    {\color[rgb]{1,1,1}\vrule width 10pt}%
   % \colorbox{formalshade}%
  }%
  \MakeFramed{\advance\hsize-\width\FrameRestore}%
  \noindent\hspace{-4.55pt}% disable indenting first paragraph
  \begin{adjustwidth}{}{7pt}%
  \vspace{-14pt}\vspace{2pt}%
}
{%
  \vspace{2pt}\end{adjustwidth}\endMakeFramed%
}

\newenvironment{frecall}{%
  \def\FrameCommand{%
    \hspace{1pt}%
    {\color{olive}\vrule width 2pt}%
    {\color[rgb]{1,1,1}\vrule width 10pt}%
   % \colorbox{formalshade}%
  }%
  \MakeFramed{\advance\hsize-\width\FrameRestore}%
  \noindent\hspace{-4.55pt}% disable indenting first paragraph
  \begin{adjustwidth}{}{7pt}%
  \vspace{-14pt}\vspace{2pt}%
}
{%
  \vspace{2pt}\end{adjustwidth}\endMakeFramed%
}

\newenvironment{fremark}{%
  \def\FrameCommand{%
    \hspace{1pt}%
    {\color{gray}\vrule width 2pt}%
    {\color[rgb]{1,1,1}\vrule width 10pt}%
   % \colorbox{formalshade}%
  }%
  \MakeFramed{\advance\hsize-\width\FrameRestore}%
  \noindent\hspace{-4.55pt}% disable indenting first paragraph
  \begin{adjustwidth}{}{7pt}%
  \vspace{-14pt}\vspace{2pt}%
}
{%
  \vspace{2pt}\end{adjustwidth}\endMakeFramed%
}

\newenvironment{fexercise}{%
  \def\FrameCommand{%
    \hspace{1pt}%
    {\color{black}\vrule width 2pt}%
    {\color[rgb]{1,1,1}\vrule width 10pt}%
   % \colorbox{formalshade}%
  }%
  \MakeFramed{\advance\hsize-\width\FrameRestore}%
  \noindent\hspace{-4.55pt}% disable indenting first paragraph
  \begin{adjustwidth}{}{7pt}%
  \vspace{-14pt}\vspace{2pt}%
}
{%
  \vspace{2pt}\end{adjustwidth}\endMakeFramed%
}


\usepgfplotslibrary{patchplots}
\usetikzlibrary{patterns, positioning, arrows}
\pgfplotsset{compat=1.15}

\title{{\Huge{\textbf{数理统计}}}
\\——\,一本简明笔记}
\author{唐嘉琪}
\date{\today}
\linespread{1.25} % 1.25对应1.5行距
% 定义新定理样式
\newtheoremstyle{customtheorem1}  % 样式名称
  {1ex}                       % 上方间距
  {1ex}                       % 下方间距
  {\normalfont}                  % 正文字体（可选斜体 \itshape）
  {}                         % 缩进（0pt）
  {\color{blue} \sffamily\bfseries}      % 标题字体（粗体）
  {\newline }                     % 标题后换行
  { }                            % 标题后间距（空格）
  {\thmname{#1}\thmnumber{#2}\thmnote{ #3}}  % 备注不加括号

% 应用新样式
\theoremstyle{customtheorem1}
\newtheorem{theorem}{Theorem}[section]

% 定义新定义样式
\newtheoremstyle{customtheorem2}  % 样式名称
  {1ex}                       % 上方间距
  {1ex}                       % 下方间距
  {\normalfont}                  % 正文字体（可选斜体 \itshape）
  {}                             % 缩进（0pt）
  {\color{red} \sffamily\bfseries}        % 标题字体（粗体）
  {\newline}                     % 标题后换行
  { }                            % 标题后间距（空格）
  {\thmname{#1}\thmnumber{#2}\thmnote{ #3}}  % 备注不加括号

% 应用新样式
\theoremstyle{customtheorem2}
\newtheorem{definition}[theorem]{Definition}

% 定义新定义样式
\newtheoremstyle{customtheorem3}  % 样式名称
  {1ex}                       % 上方间距
  {1ex}                       % 下方间距
  {\normalfont}                  % 正文字体（可选斜体 \itshape）
  {}                             % 缩进（0pt）
  {\color{purple} \sffamily\bfseries}        % 标题字体（粗体）
  {\newline}                     % 标题后换行
  { }                            % 标题后间距（空格）
  {\thmname{#1}\thmnumber{#2}\thmnote{ #3}}  % 备注不加括号

% 应用新样式
\theoremstyle{customtheorem3}
\newtheorem{lemma}[theorem]{Lemma}

% 定义新定义样式
\newtheoremstyle{customtheorem4}  % 样式名称
  {1ex}                       % 上方间距
  {1ex}                       % 下方间距
  {\normalfont}                  % 正文字体（可选斜体 \itshape）
  {}                             % 缩进（0pt）
  {\color{orange} \sffamily\bfseries}        % 标题字体（粗体）
  {\newline}                     % 标题后换行
  { }                            % 标题后间距（空格）
  {\thmname{#1}\thmnumber{#2}\thmnote{ #3}}  % 备注不加括号

% 应用新样式
\theoremstyle{customtheorem4}
\newtheorem{corollary}[theorem]{Corollary}% 推论

% 定义新定义样式
\newtheoremstyle{customtheorem5}  % 样式名称
  {1ex}                       % 上方间距
  {1ex}                       % 下方间距
  {\normalfont}                  % 正文字体（可选斜体 \itshape）
  {}                             % 缩进（0pt）
  {\color{black} \sffamily\bfseries}        % 标题字体（粗体）
  {\newline}                     % 标题后换行
  { }                            % 标题后间距（空格）
  {\thmname{#1}\thmnumber{#2}\thmnote{ #3}}  % 备注不加括号

% 应用新样式
\theoremstyle{customtheorem5}
\newtheorem{example}[theorem]{Example}

% 定义新定义样式
\newtheoremstyle{customtheorem6}  % 样式名称
  {1ex}                       % 上方间距
  {1ex}                       % 下方间距
  {\normalfont}                  % 正文字体（可选斜体 \itshape）
  {}                             % 缩进（0pt）
  {\color{brown} \sffamily\bfseries}        % 标题字体（粗体）
  {\newline}                     % 标题后换行
  { }                            % 标题后间距（空格）
  {\thmname{#1}\thmnumber{#2}\thmnote{ #3}}  % 备注不加括号

% 应用新样式
\theoremstyle{customtheorem6}
\newtheorem{proposition}[theorem]{Propsition}

% 定义新定义样式
\newtheoremstyle{customtheorem7}  % 样式名称
  {1ex}                       % 上方间距
  {1ex}                       % 下方间距
  {\normalfont}                  % 正文字体（可选斜体 \itshape）
  {}                             % 缩进（0pt）
  {\color{olive} \sffamily\bfseries}        % 标题字体（粗体）
  {\newline}                     % 标题后换行
  { }                            % 标题后间距（空格）
  {\thmname{#1}\thmnumber{#2}\thmnote{ #3}}  % 备注不加括号

% 应用新样式
\theoremstyle{customtheorem7}
\newtheorem{review}[theorem]{Recall}

% 定义新定义样式
\newtheoremstyle{customtheorem8}  % 样式名称
  {1ex}                       % 上方间距
  {1ex}                       % 下方间距
  {\normalfont}                  % 正文字体（可选斜体 \itshape）
  {}                             % 缩进（0pt）
  {\color{gray} \sffamily\bfseries}        % 标题字体（粗体）
  {\newline}                     % 标题后换行
  { }                            % 标题后间距（空格）
  {\thmname{#1}\thmnumber{#2}\thmnote{ #3}}  % 备注不加括号

% 应用新样式
\theoremstyle{customtheorem8}
\newtheorem{rmk}[theorem]{Remark}

% 定义新定义样式
\newtheoremstyle{customtheorem9}  % 样式名称
  {1ex}                       % 上方间距
  {1ex}                       % 下方间距
  {\normalfont}                  % 正文字体（可选斜体 \itshape）
  {}                             % 缩进（0pt）
  {\color{black} \sffamily\bfseries}        % 标题字体（粗体）
  {\newline}                     % 标题后换行
  { }                            % 标题后间距（空格）
  {\thmname{#1}\thmnumber{#2}\thmnote{ #3}}  % 备注不加括号

% 应用新样式
\theoremstyle{customtheorem9}
\newtheorem{exercise}[theorem]{Exercise}

\numberwithin{equation}{section}

%水印
\newcommand\BackgroundPicture{%
  \put(0,0){%
    \parbox[b][\paperheight]{\paperwidth}{%
      \vfill
      \centering%
\begin{tikzpicture}[remember picture,overlay]
\node [rotate=45,scale=5,text opacity=0.07] at (current page.center) {\songti 数理统计笔记\,\,唐嘉琪}; %中括号内是旋转角度,字体大小
\end{tikzpicture}%
      \vfill
    }}}

\pagestyle{fancy}
\begin{document}

\maketitle
\begin{center}
	{\color{blue} 编译时间 \today}
\end{center}
\begin{flushleft}
纸张大小: A4\\
书本主页:\url{www.cnblogs.com/TangJiaqiMath/p/18889902}\\
唐嘉琪\,\,\, |\,\,\, 上海立信会计金融学院\\
个人主页:\url{www.cnblogs.com/TangJiaqiMath}
\end{flushleft}
\newpage
\AddToShipoutPicture{\BackgroundPicture}
\pagenumbering{roman}
\setcounter{page}{1}
\fancyhead[R]{\vspace{1pt}\songti 唐嘉琪} % 页眉右侧内容
\fancyhead[C]{\vspace{1pt}数理统计——前言} % 页眉中间部分
\fancyhead[L]{\includegraphics[width=4cm]{../../旧机资料/识别/校名}} % 页眉左侧内容, 视情况是否添加
\setlength{\headsep}{30pt}  % 设为 30pt, 可按需改（如 5pt、15pt 等）

\begin{center}
    \Huge\textbf{前言}
\end{center}~\

非常简明, 用于复习.\par 
课程教材选取为
\begin{center}
	\kaishu 茆诗松, 《概率论与数理统计教程》, 第三版.
\end{center}\par 
学习时参考用书
\begin{center}
	\kaishu 韦来生, 《数理统计》, 第二版.\\
	\kaishu 李增沪, 张梅, 何辉,《概率论(上册)》,101计划.
\end{center}
顺序以笔者学习顺序为主. 由于自用性质, 笔记用了不少笔者所习惯的符号体系.
~\\
\begin{flushright}
    \begin{tabular}{c}
        唐嘉琪\\
        \today \\
        于上海
    \end{tabular}
\end{flushright}

\newpage
\pagenumbering{Roman}
\setcounter{page}{1}
\tableofcontents
\newpage
\setcounter{page}{1}
\pagenumbering{arabic}
\fancyhf{} % 清除默认的页眉页脚内容
\fancyhead[R]{\vspace{1pt}\songti 唐嘉琪} % 页眉右侧内容
\fancyhead[C]{\vspace{1pt}\leftmark} % 页眉中间部分
\fancyhead[L]{\includegraphics[width=4cm]{../../旧机资料/识别/校名}} % 页眉左侧内容, 视情况是否添加
\setlength{\headsep}{30pt}  % 设为 30pt, 可按需改（如 5pt、15pt 等）
\fancyfoot[C]{\thepage} % 页码指标

\chapter{统计量及其分布}

\section{总体与样本}

\begin{fdefinition}\begin{definition}[总体]
	一个统计问题所研究的对象的全体称为总体.\par
	总体(在数理统计学中)可用一个随机变量及其分布来描述.\par 
	因此, 在统计意义下, \textbf{总体即指总体分布}. 有时也用 $F$ 的密度 $f$ 来描述.
\end{definition}\end{fdefinition}


\begin{fdefinition}\begin{definition}[样本]
	设 $(x_1,\cdots,x_n)$ 是从总体中抽取的样本. \par 
	$n$ 称为\textbf{样本容量}, 简称\textbf{样本量}, 样本中的个体称为\textbf{样本}.\par 
	样本 $(x_1,\cdots,x_n)$ 可能取值全体构成样本空间 (sample space).
\end{definition}\end{fdefinition}

\begin{ftheorem}\begin{theorem}[样本的两重性]
	样本既可以看成具体的数, 又可以看成随机变量(或随机向量).\par 
	在实施抽样后, 它是具体的数; 在实施抽样前, 它被看作随机变量.
\end{theorem}\end{ftheorem}

	我们说简单随机抽样满足:
	\begin{itemize}
		\item 样本具有\textbf{代表性}: 要求总体中每一个个体都有同等机会被选入样本. 数学的话是每一样本 $x_i$ 与总体 $X$ 有相同的分布;
		\item 样本要有\textbf{独立性}. 数学的话是 $x_1,\cdots,x_n$ 互相独立.
	\end{itemize}
	用简单随机抽样法得到的样本成为\textbf{简单随机样本}, 简称\textbf{样本}.


\begin{fdefinition}\begin{definition}[简单随机样本]
	设有一总体 $F$, $(x_1,\cdots,x_n)$ 为从 $F$中抽取出的容量为 $n$ 的样本, 若
	\begin{itemize}
		\item $x_1,\cdots,x_n$ 互相独立;
		\item $x_1,\cdots,x_n$ 有相同分布 $F$.
	\end{itemize}
	则称 $(x_1,\cdots,x_n)$ 为简单随机样本.
\end{definition}\end{fdefinition}

\begin{fremark}\begin{rmk}[记法]
	若总体分布函数为 $F$, 从中抽取互相独立同分布的大小为 $n$ 的样本 $(x_i)_{i=1}^n$, 常记为
	\begin{equation*}
		x_1,\cdots,x_n\ \ \operatorname{i.i.d.}\sim F.
	\end{equation*}\par 
	若 $F$ 有密度 $f$, 也记作 
	\begin{equation*}
		x_1,\cdots,x_n\ \ \operatorname{i.i.d.}\sim f.
	\end{equation*} \par 
	若总体用 $\mathrm{r.v.}X$ 表示. 其分布为 $F$. 样本 $(x_i)_{i=1}^n$ 可视作 $\mathrm{r.v.}X$ 的观察值, 记作
	\begin{equation*}
		x_1,\cdots,x_n\ \ \operatorname{i.i.d.}\sim X.
	\end{equation*}
\end{rmk}\end{fremark}

\begin{fremark}\begin{rmk}
	非特别说明, 本笔记中的样本均指简单随机样本.
\end{rmk}\end{fremark}


\begin{ftheorem}\begin{theorem}\label{iddlhmd}
	总体 $F$, $F$ 有密度$f$, $(x_i)_{i=1}^n$ 为容量是 $n$ 的简单随机样本, 则有联合密度如下
	\begin{itemize}
		\item $F(x_1,\cdots,x_n)=\prod_{i=1}^nF(x_i)$;
		\item $f(x_1,\cdots,x_n)=\prod_{i=1}^nf(x_i)$.
	\end{itemize}
\end{theorem}\end{ftheorem}

\begin{fremark}\begin{rmk}
	上述定理中 $x_i$ 可以是多维的. 灵活运用样本两重性是关键.
\end{rmk}\end{fremark}
\newpage
\section{经验分布函数及其性质}

\begin{fdefinition}\begin{definition}[经验分布函数]
	设 $x_1,\cdots,x_n$ 为自总体 $F(x)$ 中抽取的 $\operatorname{i.i.d.}$ 样本, 将其按大小排列为 $x_{(1)}\leqslant x_{(2)}\leqslant\cdots\leqslant x_{(n)}$, 对任意实数 $x$, 称下列函数: 
	\begin{equation*}
		F_n(x)=
		\begin{cases}
			0, & x< x_{(1)},\\
			k/n , & x_{(k)}\leqslant x< x_{(k + 1)},\,k = 1,2,\cdots,n - 1,\\
			1, & x_{(n)}\leqslant x.
		\end{cases}
	\end{equation*}
	为经验分布函数 (empirical distribution function).
\end{definition}\end{fdefinition}
记 $v_n(x):=\sharp\{x_i\colon x_i\leqslant x\}$, 那么 $F_n(x)=v_n(x)/n$.

\begin{fdefinition}\begin{definition}[示性函数]
\begin{equation*}
	I_i(x)=
	\begin{cases}
	1, & x_i\leqslant x ,\\
	0, & \text{其他}.
	\end{cases}
\end{equation*}
\end{definition}\end{fdefinition}

那么进一步有
\begin{equation*}
	F_n(x)=\dfrac{v_n(x)}{n}=\dfrac{1}{n}\sum_{i=1}^nI_i(x),\,\,\,\forall x\in \mathbb R.
\end{equation*}

\begin{fproposition}\begin{proposition}
	固定 $x$, 那么 $v_n(x)$ 与 $F_n(x)$ 都是样本 $(x_1,\cdots,x_n)$ 的函数, 从而都是随机变量, 由于 $\mathbb P\{I_i(x)=1\}=\mathbb P\{x_i\leqslant x\}=F(x)=\colon F$, 则有
	\begin{equation*}
		I_i(x)\sim b(1,F)\Longrightarrow v_n(x)=\sum_{i=1}^nI_i(x)\sim b(n,F)
	\end{equation*}\par 
	那么自然有期望和方差 $\mathbb E(v_n(x))=nF$, $\operatorname{Var}(v_n(x))=nF(1-F)$.\par 
	利用性质可以有 
	\begingroup
    \setlength{\jot}{12pt}
	\begin{align*}
		\mathbb E(F_n(x))=&\mathbb E\left (\dfrac{v_n(x)}{n}\right)=\dfrac{\mathbb E(v_n(x))}{n}=F,\\
		\operatorname{Var}(F_n(x))=&\mathrm{Var}\left(\dfrac{v_n(x)}{n}\right)=\dfrac{\mathrm{Var}(v_n(x))}{n^2}=\dfrac{F(1-F)}{n}.
	\end{align*}
	\endgroup
\end{proposition}\end{fproposition}

\begin{frecall}\begin{review}[中心极限定理(一般形式)]
	随机变量序列 $\{\xi_n \}$. 用 $S_n$ 表示 $\sum_{k=1}^n\xi_k$, 且对于每个 $n\geqslant 1$ 都有 $\mathrm{Var}(S_n)> 0$. 定义标准化部分和 $S_n^*$ 如下:
	\begin{equation*}
		S_n^*=\dfrac{S_n-\mathbb E(S_n)}{\sqrt{\operatorname{Var}(S_n)}}=\dfrac{1}{\sqrt{\operatorname{Var}(S_n)}}\sum_{k=1}^n(\xi_k-\mathbb E(\xi_k)).
	\end{equation*}\par 
	称序列 $\{\xi_n \}$ 满足中心极限定理, 是指当 $n\to \infty$ 时 $S_n^*$ 的分布函数弱收敛(或依分布收敛)到标准正态分布 $\mathcal N(0,1)$ 的分布函数, 即
	\begin{equation*}
		\mathbb P(S_n^*\leqslant x)\stackrel{\operatorname w}{\longrightarrow}\Phi(x).\,\,\,\text{下文约记}\,S_n^*\stackrel{\operatorname w}{\sim}\mathcal N(0,1)
	\end{equation*}
\end{review}\end{frecall}

\begin{fproposition}\begin{proposition}
	\begin{equation*}
		\dfrac{v_n(x)-nF}{\sqrt{nF(1-F)}}\stackrel{\operatorname w}{\sim}\mathcal N(0,1),\,\,(n\to \infty).
	\end{equation*}
	等价的是
	\begin{equation*}
		\dfrac{\sqrt{n}(F_n(x)-F)}{\sqrt{F(1-F)}}\stackrel{\operatorname w}{\sim}\mathcal N(0,1),\,\,(n\to \infty).
	\end{equation*}
\end{proposition}\end{fproposition}

\begin{frecall}\begin{review}[辛钦(Khintchine)大数定律]
	独立同分布的可积随机变量序列 $\{\xi_n\}$ 满足如下大数定律:
	\begin{equation*}
		\bar{S}_n=\frac{1}{n	}\sum_{k=1}^n\xi_k\stackrel{\operatorname p}{\longrightarrow}\mathbb E(\xi_1)
	\end{equation*}
\end{review}\end{frecall}

\begin{frecall}\begin{review}[伯努利(Bernoulli)大数定律]
	假设 $0<p<1$. 令 $S_n$ 是以 $p$ 为成功概率的伯努利实验前 $n$ 次实验中的成功次数. 则对于任意的 $\varepsilon >0$ 有
	\begin{equation*}
		\mathbb P\left(\left|\dfrac{S_n}{n}-p\right|\geqslant\varepsilon\right)\leqslant\dfrac{1}{n^2\varepsilon^2}\operatorname{Var}(S_n)=\dfrac{p(1-p)}{n\varepsilon^2}.
	\end{equation*}
	故当 $n\to \infty $ 时有 $\bar{S}_n:=S_n/n\stackrel{\operatorname p}{\longrightarrow}p$
\end{review}\end{frecall}

\begin{fproposition}\begin{proposition}
	$\{I_i(x)\}$ 独立同分布, 故利用辛钦(Khintchine)大数定律直接有
	\begin{equation*}
		F_n(x)=\dfrac{1}{n}\sum_{i=1}^nI_i(x)\stackrel{\operatorname p}{\longrightarrow}\mathbb E(I_1(x))=F
	\end{equation*}
	类似的用伯努利(Bernoulli)大数定律也可以直接得到结论.
\end{proposition}\end{fproposition}

\begin{ftheorem}\begin{theorem}[格里汶科定理(Glivenko-Cantelli Theorem)]\label{glwk}
	设 $F(x)$ 为 $\operatorname{r.v.}\,X$ 的分布函数, $x_1,\cdots,x_n$	 为取自总体 $F(x)$ 的 $\operatorname{i.i.d.}$ 样本, $F_n(x)$ 为其经验分布函数, 记 $\displaystyle{ D_n:=\sup_{-\infty<x<\infty}\left|F_n(x)-F(x)\right|}$, 则有
	\begin{equation*}
		\mathbb P\left(\lim_{n\to\infty }D_n=0\right)=1
	\end{equation*}
\end{theorem}\end{ftheorem}
\newpage
\section{样本均值与方差及其分布}

\begin{fdefinition}\begin{definition}
	设 $x_1,\cdots,x_n$ 为取自某总体的样本, 若样本函数 $T=T(x_1,\cdots,x_n)$ 中不含有任何未知参数, 则称 $T$ 为\textbf{统计量}, 统计量的分布成为\textbf{抽样分布}.
\end{definition}\end{fdefinition}

\begin{fdefinition}\begin{definition}[样本均值(sample mean)] 设 $x_1,\cdots,x_n$ 为某总体中抽取的样本, 则称
\begin{equation*}
	\bar x=\dfrac{1}{n}\sum_{i=1}^n x_i
\end{equation*}
为样本均值(sample mean). 它反映了总体均值的信息.	
\end{definition}\end{fdefinition}\par 
在分组样本场合, 样本均值的近似公式为
\begin{equation}\label{barx}
	\bar x=\left. \sum_{i=1}^k x_if_i\right/\sum_{i=1}^k f_i.
\end{equation}
其中 $k$ 为组数, $f_i$ 为频数.\par 
若把样本中的数据与样本均值之差成为偏差.
\begin{fproposition}\begin{proposition}[样本所有偏差之和为0]
	\begin{equation*}
		\sum_{i=1}^n(x_i-\bar x)=0
	\end{equation*}
\end{proposition}\end{fproposition}

\begin{fproposition}\begin{proposition}[数据观测值与均值的偏差平方和最小]
	\begin{equation*}
		\sum_{i=1}^n\left(x_i-\bar x\right)^2=\min_{c}\sum_{i=1}^n\left(x_i-c\right)^2
	\end{equation*}
\end{proposition}\end{fproposition}

\begin{ftheorem}\begin{theorem}[样本均值的抽样分布]\label{ybjz}
	 $x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim X$ 样本. $\bar x$ 为样本均值.
	 \begin{itemize}
	 	\item $X\sim\mathcal N(\mu,\sigma^2)\Longrightarrow \bar x \sim \mathcal N(\mu,\sigma^2/n)$;
	 	\item $\exists\,\mathbb E(X)=\mu,\,\operatorname{Var}(X)=\sigma^2$, 当 $n$ 较大时有渐进分布(此处指近似分布): $\bar x\stackrel{\cdot}{\sim}\mathcal{N}(\mu,\sigma^2/n)$.
	 \end{itemize}
\end{theorem}\end{ftheorem}
证明分别利用正态分布线性性质与中心极限定理给出, 即
\begin{equation*}
	\dfrac{n(\bar x-\mu)}{\sqrt{n}\sigma}\stackrel{\operatorname w}{\sim}\mathcal N(0,1)\Longrightarrow \bar x\stackrel{\cdot}{\sim}\mathcal{N}(\mu,\sigma^2/n).
\end{equation*}

\begin{fdefinition}\begin{definition}[样本方差(sample variance)]
	\begin{align*}
		s_n^2=&\dfrac{1}{n}\sum_{i=1}^n\left(x_i-\bar x\right)^2,&&\text{称为样本方差};\\
		s_n=&\sqrt{s_n^2},&&\text{称为标准差};\\
		s^2=&\dfrac{1}{n-1}\sum_{i=1}^n\left(x_i-\bar x\right)^2,&&\text{称为无偏方差};\\
		s=&\sqrt{s^2},&&\text{称为修正样本标准差}.
	\end{align*}
\end{definition}\end{fdefinition}

\begin{fremark}\begin{rmk}
	今后方差指 $s^2$, 标准差指 $s$.
\end{rmk}\end{fremark}

\begin{fproposition}\begin{proposition}[样本偏差平方和有三个常用表达式]
	\begin{equation*}
		\sum_{i=1}^n\left(x_i-\bar x\right)^2=\sum_{i=1}^nx_i^2-\dfrac{\left(\sum_{i=1}^nx_i\right)^2}{n}=\sum_{i=1}^nx_i^2-n\bar x^2.
	\end{equation*}
\end{proposition}\end{fproposition}
分组样本场合, 样本方差的近似计算公式为
\begin{equation*}
	s^2=\dfrac{1}{n-1}\sum_{i=1}^kf_i\left (x_i-\bar x\right)^2=\dfrac{1}{n-1}\left(\sum_{i=1}^kf_ix_i^2-n\bar x^2\right),
\end{equation*}
其中 $x_i$ 为组中值, $\bar x$ 由\eqref{barx}给出.
\begin{ftheorem}\begin{theorem}
	若总体 $\operatorname{r.v.}X$ 具有二阶矩, 即 $\mathbb E(X)=\mu$, $\operatorname{Var}(X)=\sigma^2<\infty$. $x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim X$, 则
	\begin{equation*}
		\mathbb E(\bar x)=\mu,\,\,\operatorname{Var}(\bar x)=\sigma^2/n,\,\,\mathbb E(s^2)=\sigma^2
	\end{equation*}
\end{theorem}\end{ftheorem}
\newpage
\section{样本矩, 样本偏度, 样本峰度}
\begin{fdefinition}\begin{definition}[样本矩]设 $x_1,\cdots,x_n$ 是 $\operatorname{i.i.d.}$ 样本.
	\begin{align*}
		a_k=&\dfrac{1}{n}\sum_{i=1}^nx_i^k,&&\text{称为样本}\,k\,\text{阶原点矩};\\ 
		b_k=&\dfrac{1}{n}\sum_{i=1}^n\left(x_i-\bar x\right)^k ,&&\text{称为样本}\,k\,\text{阶中心矩}.
	\end{align*}
	样本的原点矩和中心矩统称为\textbf{样本矩}(sample moments).
\end{definition}\end{fdefinition}

\begin{fremark}\begin{rmk}作为特例.
	\begin{equation*}
		a_1=\bar x,\,\,\,b_2=s_n^2=(n-1)s^2/n.
	\end{equation*}
\end{rmk}\end{fremark}

\begin{fdefinition}\begin{definition}[样本偏度]$x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim F$, 称
\begin{equation*}
	\gamma_1=\dfrac{b_3}{b_2^{3/2}}=\sqrt{n}\sum_{i=1}^n\left(x_i-\bar x\right)^3\left/\left(\sum_{i=1}^n\left(x_i-\bar x\right)^2\right)^{3/2}\right.
\end{equation*}
	为样本偏度(sample skewness).
\end{definition}\end{fdefinition}

\begin{fremark}\begin{rmk} $\gamma_1=0$ 说明是对称的, 类似于正态的去考虑;\par 
$\gamma_1>0$ 说明数据中有几个较大的值, 反应总体分布正偏(右偏);\par 
$\gamma_1<0$ 反之.
\end{rmk}\end{fremark}

\begin{fdefinition}\begin{definition}[样本峰度]$x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim F$, 称
	\begin{equation*}
		\gamma_2=\dfrac{b_4}{b_2^2}-3=n\sum_{i=1}^n\left(x_i-\bar x\right)^4\left/\left(\sum_{i=1}^n\left(x_i-\bar x\right)^2\right)^2\right.-3
	\end{equation*}
		为样本峰度(sample kurtosis).
\end{definition}\end{fdefinition}

\begin{fremark}\begin{rmk} $\gamma_2=0$ 说明是标准的, 类似于正态的去考虑;\par 
$\gamma_2>0$ 说明数据较集中(在峰值附近分布密度曲线陡峭);\par 
$\gamma_2<0$ 反之.
\end{rmk}\end{fremark}
\newpage
\section{次序(顺序)统计量及其有关统计量}
\begin{fdefinition}\begin{definition}[次序统计量]
	\begin{equation*}
		x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim \operatorname{r.v.}\,X
	\end{equation*}
	$x_{(i)}$ 称为该样本的第 $i$ 个\textbf{次序统计量}, 其取值是将样本观测值由小到大排列后得到的第 $i$ 个观测值.\par 
	其中 $x_{(1)}=\min\{x_1,\cdots,x_n\}$ 称为该样本的\textbf{最小次序统计量}, 称 $x_{(n)}=\max\{x_1,\cdots.x_n\}$ 为该样本的\textbf{最大次序统计量}.
\end{definition}\end{fdefinition}
由于是 $\operatorname{i.i.d.}$ 取样. 我们可以有以下断言:
\begin{fproposition}\begin{proposition}
	\begin{equation*}
		x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim F
	\end{equation*}
	那么
	\begin{align*}
		F_{x_{(1)}}(z)=&1-\mathbb P\left(x_{(1)}> z\right)=1-\mathbb P\left(\bigcap_{k=1}^n x_k> z\right)\\
		=&1-\prod_{k=1}^n\mathbb P\left(x_k>z\right)=1-\left[1-F_X(z)\right]^n;\\
		F_{x_{(n)}}(z)=&\mathbb P\left (x_{(n)}\leqslant z\right)=\mathbb P\left(\bigcap_{k=1}^nx_k\leqslant z\right)\\
		=&\prod_{k=1}^n\mathbb P\left(x_k\leqslant z\right)=\left[F_X(z)\right]^n.
	\end{align*}
\end{proposition}\end{fproposition}

\begin{frecall}\begin{review}[多项分布]
	多项分布是重要的多维离散分布, 它是二项分布的推广. 进行 \( n \) 次独立重复试验, 如果每次试验有 \( r \) 个互不相容的结果: \( A_1, A_2, \cdots, A_r \) 之一发生, 且每次试验中 \( A_i \) 发生的概率为 \( p_i = \mathbb P(A_i) \), \( i=1,2,\cdots,r \), 且 \( p_1 + p_2 + \cdots + p_r = 1 \). 记 \( X_i \) 为 \( n \) 次独立重复试验中 \( A_i \) 出现的次数,\( i=1,2,\cdots,r \), 则 \( (X_1, X_2, \cdots, X_r) \) 取值 \( (n_1, n_2, \cdots, n_r) \) 的概率, 即 \( A_1 \) 出现 \( n_1 \) 次, \( A_2 \) 出现 \( n_2 \) 次……\( A_r \) 出现 \( n_r \) 次的概率为
	\begin{equation*}
		\mathbb P(X_1 = n_1, X_2 = n_2, \cdots, X_r = n_r) = \dfrac{n!}{n_1!n_2!\cdots n_r!}p_1^{n_1}p_2^{n_2}\cdots p_r^{n_r}
	\end{equation*}
	其中 \( n = n_1 + n_2 + \cdots + n_r \).\par 
这个联合分布称为 \( r \) 项分布, 又称多项分布,记为 \( M(n, p_1, p_2, \cdots, p_r) \). 这个概率是多项式 \( (p_1 + p_2 + \cdots + p_r)^n \) 展开式中的一项, 故其和为 1. 当 \( r = 2 \) 时,即为二项分布. \par 
我们给出专属的记号:
\begin{equation*}
	\binom{n}{n_1\,n_2\,\cdots\,n_r}=\dfrac{n!}{n_1!n_2!\cdots n_r!}
\end{equation*}
\end{review}\end{frecall}

\begin{fremark}\begin{rmk}
	二项分布是一维随机变量的分布, 而在 \( r \) 项分布中, 因为 \( p_1 + p_2 + \cdots + p_r = 1 \), 且 \( n_1 + n_2 + \cdots + n_r = n \), 所以 \( r \) 项分布是 \( r-1 \) 维随机变量的分布. 
\end{rmk}\end{fremark}

\begin{ftheorem}\begin{theorem}[单个次序统计量的分布]\label{pf1}
	\begin{equation*}
		x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim \operatorname F
	\end{equation*}
	$p$ 为 $F$ 的密度函数, 则第 $k$ 个次序统计量 $x_{(k)}$ 的密度函数为
	\begin{equation*}
		p_k(z):=p_{x_{(k)}}(z)=\binom{n}{k-1\,\,1\,\,n-k}\left[F(z)\right]^{k-1}p(z)\left[1-F(z)\right]^{n-k}
	\end{equation*}
\end{theorem}\end{ftheorem}
\begin{proof}
	证明是简单的, 基于下图.
	\begin{figure}[h]
		\centering
		\includegraphics[width=0.8\textwidth]{pic/单个次序统计量的分布}
		\caption{单个次序统计量的分布}
		\label{fig:单个次序统计量的分布}
	\end{figure}\par 
	对任意的实数 $z$, 考虑次序统计量 $x_{(k)}$ 取值落在小区间 $(z,z+\Delta z]$ 内这一事件, 它等价于``样本容量为$n$ 的样本中有 $1$ 个观测值落在区间$(z,z+\Delta z]$ 之间, 而有$k-1$ 个观测值小于等于$z$, 有$n-k$ 个观测值大于 $z+\Delta z$'', 于是, 若以\(F_{k}(z)\)记\(x_{(k)}\)的分布函数, 则由多项分布可得
	\begin{align*}
		&\mathbb P(z\leqslant x_{(k)}\leqslant z + \Delta z)=F_{k}(z + \Delta z)-F_{k}(z)\\
		\approx &\frac{n!}{(k - 1)!(n - k)!}[F(z)]^{k - 1}[F(z + \Delta z)-F(z)][1 - F(z + \Delta z)]^{n - k}.
	\end{align*}
	两边同除以\(\Delta z\), 并令\(\Delta z\rightarrow 0\), 即有
	\begin{align*}
		p_{k}(z)=&\lim_{\Delta z\rightarrow 0}\frac{F_{k}(z + \Delta z)-F_{k}(z)}{\Delta z}\\
		=&\frac{n!}{(k - 1)!(n - k)!}[F(z)]^{k - 1}p(z)[1 - F(z)]^{n - k}.
	\end{align*}
\end{proof}                                                                                     

\begin{ftheorem}\begin{theorem}[双个次序统计量的分布]
	次序统计量 $\left(x_{(i)},x_{(j)}\right),\,\,(i<j)$ 的联合分布密度函数为
	\begin{align*}
		p_{ij}(y,z)=&\dfrac{n!}{(i-1)!(j-i-1)!(n-j)!} [F(y)]^{i-1}p(y)[F(z)-F(y)]^{j-i-1}\\
		&\cdot p(z)[1-F(z)]^{n-j}
	\end{align*}
\end{theorem}\end{ftheorem}
\begin{proof}
	证明与\textbf{定理\ref{pf1}}的证明是类似的.
\end{proof}
\begin{frecall}\begin{review}[欧拉积分]\label{oulajifen}
回顾 $\Gamma$ 函数与 $\operatorname B$ 函数:
\begin{align*}
	\Gamma(s)=&\int_{0}^{+\infty}x^{s-1}\mathrm e^{-x}\mathrm dx,\,\,s>0;\\
	\operatorname B(p,q)=&\int_0^1x^{p-1}(1-x)^{q-1}\mathrm dx,\,\,p>0,\,q>0.
\end{align*}
切有性质
\begin{itemize}
	\item $\Gamma (s)$ 在定义域 $s>0$ 内连续且可导;
	\item $\Gamma(s+1)=s\Gamma(s)$, 当$s$取正整数$n$, 有$\Gamma(n+1)=n\Gamma(n)=n!\displaystyle \int_{0}^{+\infty}\mathrm e^{-x}\mathrm dx$;
	\item 延拓 $\Gamma(s)$ 至 $\mathbb R$, 方法是改写递推公式$\Gamma(s)=\Gamma(s+1)/s$;
	\item $\operatorname B(p,q)$ 在定义域 $p>0,\,q>0$ 内连续;
	\item 对称: $\operatorname B(p,q)=\operatorname B(q,p)$;
	\item 递推公式:
		\begingroup
		\setlength{\jot}{12pt}
		\begin{align*}
			\operatorname B(p,q)=&\dfrac{q-1}{p+q-1}\operatorname B(p,q-1)&&(p>0,q>1);\\
			\operatorname B(p,q)=&\dfrac{p-1}{p+q-1}\operatorname B(p-1,q)&&(p>1,q>0);\\
			\operatorname B(p,q)=&\dfrac{(p-1)(q-1)}{(p+q-1)(p+q-2)}\operatorname B(p-1,q-1)&&(p>1,q>1).
		\end{align*}
		\endgroup
	\item $\Gamma$ 函数与 $\operatorname B$ 函数之间的关系
		\begin{equation*}
			\operatorname B(p,q)=\dfrac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)}\,\,\,(p>0,q>0)
		\end{equation*}
\end{itemize}
\end{review}\end{frecall}

\begin{frecall}\begin{review}[$\operatorname B$分布]
	$X\sim \operatorname{Be}(a,b),\,\,(a>0,b>0)$, 指密度函数为
	\begin{align*}
		p(x)=&\dfrac{1}{\operatorname B(a,b)}x^{a-1}(1-x)^{b-1},\,\,\,0<x<1\\[0.2cm]
		=&\begin{cases}
			\dfrac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}x^{a-1}(1-x)^{b-1}, &0<x<1;\\
			0,&\text{其他}.
		\end{cases}
	\end{align*}\par 
	若 $X\sim \operatorname B(a,b)$, 则直接有
	\begin{equation*}
		\mathbb E(X)=\dfrac{a}{a+b},\,\,\,\operatorname{Var}(x)=\dfrac{ab}{(a+b)^2(a+b+1)}
	\end{equation*}
\end{review}\end{frecall}

\begin{frecall}\begin{review}
	总体$X$的分布函数 $F(x)=F_X(x)$ 是连续的, 则
	\begin{equation*}
		Y=F(X)\sim \mathcal U(0,1)
	\end{equation*}
\end{review}\end{frecall}

\begin{fproposition}\begin{proposition}
\begin{equation*}
	x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim F\in \mathscr C(\mathbb R)
\end{equation*}	
	以 $F\left(x_{(i)}\right),i=1,\cdots,n$ 是来自总体为 $\mathcal U(0,1)$ 的次序统计量.\par 
	且$x_{(k)}\sim \operatorname{Be}(k,n-k+1)$, 
	\begin{equation*}
		\mathbb E\left(x_{(k)}\right)=\dfrac{k}{n+1},\,\,\,\operatorname{Var}\left(x_{(k)}\right)=\dfrac{k(n-k+1)}{(n+1)^2(n+2)}.
	\end{equation*}
\end{proposition}\end{fproposition}
\begin{proof}
	证明是显然的, 由于$F\in \mathscr C$是单调的, 自然有
	\begin{equation*}
		F\left(x_{(1)}\right)\leqslant F\left(x_{(2)}\right)\leqslant\cdots\leqslant F\left(x_{(n)}\right)
	\end{equation*}\par 
	第$k$个次序统计量 $x_{(k)}$ 的密度函数是
	\begin{align*}
		p_{k}(x)=&\begin{cases}
			\dfrac{n!}{(k-1)!(n-k)!}x^{k-1}(1-x)^{n-k},&0<x<1;\\
			0,&\text{其他}.
		\end{cases}\\
		=&\begin{cases}
			\dfrac{\Gamma(n+1)}{\Gamma(k)\Gamma(n-k+1)}x^{k-1}(1-k)^{(n-k+1)-1},&0<x<1;\\
			0,&\text{其他}.
		\end{cases}
	\end{align*}
\end{proof}
\begin{fdefinition}\begin{definition}[样本极差]对于$\operatorname{i.i.d.}$样本 $x_1,\cdots,x_n$. 称统计量
	\begin{equation*}
		R_n=x_{(n)}-x_{(1)}
	\end{equation*}
	为\textbf{样本极差}(sample range).
\end{definition}\end{fdefinition}
\newpage
\section{样本分位数与样本中位数}
\begin{frecall}\begin{review}[分位数]
	设$0<p<1$, 若$x_p$满足
	\begin{equation*}
		\mathbb P\left(X\leqslant x_p\right)=F\left(x_p\right)=p
	\end{equation*}
	则称$x_p$ 为此分布的 $p$-分位数.\par 
	特别的, 称$p=0.5$时的 $p$-分位数 $x_{0.5}$ 为\textbf{中位数}.
\end{review}\end{frecall}
\begin{fdefinition}\begin{definition}[总体分位数, 样本分位数]
	\textbf{样本中位数}$m_{0.5}$是一个统计量, 定义为:
	\begin{equation*}
		m_{0.5}=\begin{cases}
			x_{\left(\frac{n+1}{2}\right)},& n\,\text{为奇数},\\[0.5cm]
			\dfrac{1}{2}\left(x_{\left(\frac{n}{2}\right)}+x_{\left(\frac{n}{2}+1\right)}\right),& n\,\text{为偶数}.
		\end{cases}
	\end{equation*}
	更一般的样本$p$分位数$m_p$定义为:
	\begin{equation*}
		m_p=\begin{cases}
			x_{\left(\left[np+1\right]\right)},& \text{若$np$ 不是整数},\\[0.5cm]
			\dfrac{1}{2}\left(x_{(np)}+x_{(np+1)}\right),& \text{若$np$ 是整数}.
		\end{cases}
	\end{equation*}
\end{definition}\end{fdefinition}

\begin{ftheorem}\begin{theorem}[大样本下样本分为数的渐近分布]设总体密度函数为$p(x)$, $x_p$ 为其 $p$ 分位数, $p(x)$ 在 $x_p$ 处连续且 $p(x_p)>0$, 则当 $n\to \infty$ 时样本 $p$ 分位数 $m_p$ 的渐近分布为
\begin{equation*}
	m_{p}\stackrel{\cdot}{\sim}\mathcal N\left(x_p,\dfrac{p(1-p)}{n\cdot p^2(x_p)}\right).
\end{equation*}
	特别, 对样本中位数, 当 $n\to\infty$ 时有渐近分布
\begin{equation*}
	m_{0.5}\stackrel{\cdot}{\sim }\mathcal N\left(x_{0.5},\dfrac{1}{4n\cdot p^2(x_{0.5})}\right).
\end{equation*}
\end{theorem}\end{ftheorem}
\newpage
\section{五数概括与箱线图}
\begin{fdefinition}\begin{definition}[五数概括]
	指五个数:
	\begin{align*}
		x_{\min}:=x_{(1)},&&Q_1:=m_{0.25},&&m_{0.5},&&Q_3:=x_{0.75},&&x_{\max}:=x_{(n)}
	\end{align*}
\end{definition}\end{fdefinition}

\begin{fdefinition}\begin{definition}[箱线图]指通过以下步骤(符合以下条件)画出的图.
	\begin{enumerate}
		\item 箱体左右侧分别为 $Q_1$ 与 $Q_3$, 在中位数位置上画上一条竖线.
		\item 在箱子左右两侧分别引出一条水平线, 分别至最值位置.
	\end{enumerate}
\end{definition}\end{fdefinition}

\begin{figure}[h]
		\centering
		\includegraphics[width=0.8\textwidth]{pic/箱线图}
		\caption{箱线图}
		\label{fig:箱线图}	
\end{figure}
\newpage
\section{三大抽样分布}
\begin{frecall}\begin{review}[$\Gamma$ 分布 $\operatorname{Ga}(\alpha,\lambda)$]
	$\Gamma$函数见回忆\ref{oulajifen}.\par
	若$\operatorname{r.v.}X$ 的密度函数为
	\begin{equation*}
		p_X(x)=\dfrac{x^{\alpha-1}}{\Gamma(\alpha)}\lambda^\alpha\mathrm e^{-\lambda x},\,\,\,x\geqslant 0
	\end{equation*}
	则称$\operatorname{r.v.}X$ 服从 $\Gamma$ 分布, 记作$X\sim \operatorname{Ga}(\alpha,\lambda)$, 其中 $\alpha >0,\,\lambda>0$.\par 
	$\Gamma$ 分布的期望和方差分别为
	\begin{align*}
		\mathbb E(X)=\dfrac{\alpha}{\lambda},&&\operatorname{Var}(X)=\dfrac{\alpha}{\lambda ^2}.
	\end{align*}
	需要注意的是:
	\begin{enumerate}
		\item $\Gamma(1)=1$, $\Gamma(1/2)=\sqrt{\pi}$, $\Gamma(n+1)=n!$;
		\item $\operatorname{Ga}(1,\lambda)=\operatorname{Exp}(\lambda)$, 先给出 $\operatorname{Ga}(n/2,1/2)=\chi^2(n)$;
		\item $\mathbb E\left(\chi^2\right)=n$, $\operatorname{Var}\left(\chi^2\right)=2n$.
	\end{enumerate}
\end{review}\end{frecall}
\subsection{$\chi^2$ 分布}
\begin{fdefinition}\begin{definition}[$\chi^2$ 分布]
	设 $X_1,\cdots,X_n\,\,\operatorname{i.i.d.}\sim \mathcal N(0,1)$, 则称随机变量
	\begin{equation*}
		\chi^2=\sum_{i=1}^nX_i^2
	\end{equation*}
	的分布为\textbf{自由度}为$n$ 的\textbf{$\chi^2$分布}, 记作 $\chi^2\sim \chi^2(n)$.\par 
	$\chi^2$ 分布的密度函数为:
	\begin{equation}\label{chi^2}
		p_{\chi^2}(x;n)=\begin{cases}
			\dfrac{1}{2^{n/2}\Gamma(n/2)}x^{\frac{n}{2}-1}\mathrm e^{-\frac{x}{2}},&x\geqslant0\\[0.5cm]
			0,&x<0.
		\end{cases}
	\end{equation}
\end{definition}\end{fdefinition}
\begin{fremark}\begin{rmk}
	相关定理:若$X\perp\!\!\!\perp Y$(相互独立的), $h(x)$ 和 $g(y)$ 是实数域 $\mathbb R$ 上的连续函数, 那么随机变量 $h(X)\perp\!\!\!\perp g(Y)$.\par 
由此可推出 $X_1^{2},\cdots,X_n^{2}$ 相互独立. 
\end{rmk}\end{fremark}
\begin{fremark}\begin{rmk}
	符号 ``$\perp\!\!\!\perp$'' 表相互独立
\end{rmk}\end{fremark}
\begin{fremark}\begin{rmk}
	自由度是可以自由变化的观测值的个数.
\end{rmk}\end{fremark}
提出疑问``和分布的自由度就一定为$n$吗?''. 答案不一定, 因为如果$X_1,X_2,\cdots,X_n$之间存在约束关系,自由度就可能小于$n$, 只有在它们相互独立且无约束时, 和分布的自由度才为$n$.
\begin{fremark}\begin{rmk}
	密度函数\eqref{chi^2}的图像是一只取非负值的偏态分布.
\end{rmk}\end{fremark}

\begin{figure}[h]
		\centering
		\includegraphics[width=0.8\textwidth]{pic/卡方分布分位数}
		\caption{$\chi^2$ 分布的$1-\alpha$分位数}
		\label{fig:chi2_1-alpha分位数}	
\end{figure}

\begin{fdefinition}\begin{definition}[$\chi^2$ 分布的$1-\alpha$分位数]
	当 $\operatorname{r.v.}\chi^2\sim\chi^2(n)$时, 对给定$0<\alpha<1$, 称满足条件
	\begin{equation*}
		\mathbb P\left\{\chi^2\leqslant\chi_{1-\alpha}^2(n)\right\}=\int_0^{\chi^2_{1-\alpha}(n)}p_{\chi^2}(x;n)\mathrm dx=1-\alpha
	\end{equation*}
	的点$\chi^2_{1-\alpha}(n)$ 为 $\chi^2(n)$ 的$1-\alpha$ 分位数.
\end{definition}\end{fdefinition}

\begin{fproposition}\begin{proposition}[$\chi^2$ 分布的性质]\label{chi2} 给出四个性质:
	\begin{enumerate}
		\item 设 $X_1,\cdots,X_n$ 互相独立, 切都服从正态分布 $\mathcal N(\mu,\sigma^2)$, 则
			\begin{equation*}
				\chi^2=\dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i-\mu)^2\sim \chi^2(n)
			\end{equation*}
		\item $\chi^2$分布的可加性: 设 $X_1\sim \chi^2(n_1)$, $X_2\sim \chi^2(n_2)$, 且 $X_1 \perp\!\!\!\perp X_2$ , 那么\begin{equation*}
			X_1+X_2\sim \chi^2(n_1+n_2)
			\end{equation*}
		\item 若 $\operatorname{r.v.}X\sim \chi^2(n)$, 则\begin{align*}
			\mathbb E(X)=n,&&\operatorname{Var}(X)=2n.
			\end{align*}
		\item 若 $\operatorname{r.v.}X\sim \chi^2(n)$, 则对任意 $x$, 有\begin{equation*}
			\lim_{n\to\infty}\mathbb P\left(\dfrac{X-n}{\sqrt{2n}}\leqslant x\right)=\int_{-\infty}^x\dfrac{1}{\sqrt{2\pi}}\mathrm e^{-\frac{t^2}{2}}\mathrm dt=\Phi(x)
			\end{equation*}
		即说明当$n\to\infty$时, 有渐近分布
		\begin{align*}
			\dfrac{X-n}{\sqrt{2n}}\stackrel{\cdot}{\sim}\mathcal N(0,1),&&X\stackrel{\cdot}{\sim}\mathcal N(n,2n).
		\end{align*}
	\end{enumerate}
\end{proposition}\end{fproposition}
\begin{proof}现依次对命题\ref{chi2}进行证明:
	\begin{enumerate}
		\item 显然\begin{equation*}
			\chi^2=\sum_{i=1}^n\left(\dfrac{X_i-\mu}{\sigma}\right)^2\sim\chi^2(n)
		\end{equation*}
		\item 正态分布可加性.
		\item 由于$X_i\sim \mathcal N(0,1)$, 故 $\mathbb E\left(X_i^2\right)=\operatorname{Var}(X_i)+\mathbb E^2(X_i)=1$. 利用分布积分法与下式\begin{align*}
			\mathbb E\left(X_i^2\right)=\int_{-\infty}^{+\infty}\dfrac{x^2}{\sqrt{2\pi}}\mathrm e^{-\frac{x^2}{2}}\mathrm dx,&&\mathbb E\left(X_i^4\right)=\int_{-\infty}^{+\infty}\dfrac{x^4}{\sqrt{2\pi}}\mathrm e^{-\frac{x^2}{2}}\mathrm dx
		\end{align*}
		显然有$\mathbb E\left(X_i^4\right)=3\mathbb E\left(X_i^2\right)=3$. 于是
		\begin{equation*}
			\operatorname{Var}\left(X_i^2\right)=\mathbb E\left(X_i^4\right)-\mathbb E^2\left(X_i^2\right)=3-1=2
		\end{equation*}
		于是
		\begin{align*}
			\mathbb E(X)=&\mathbb E\left(\sum_{i=1}^nX_i^2\right)=\sum_{i=1}^n\mathbb E \left(X_i^2\right)=n;\\
			\operatorname{Var}(X)=&\operatorname{Var}\left(\sum_{i=1}^nX_i^2\right)\stackrel{\text{独立}}{=}\sum_{i=1}^n\operatorname{Var}\left(X_i^2\right)=2n.
		\end{align*}
		\item 由中心极限定理得当$n\to \infty$时, 有
			\begin{equation*}
			\mathbb P\left\{\dfrac{X-n}{\sqrt{2n}}\leqslant x\right\}=\mathbb P\left\{ \dfrac{\sum_{i=1}^nX_i^2-\mathbb E\left(\sum_{i=1}^nX_i^2\right)}{\sqrt{\operatorname{Var}\left(\sum_{i=1}^nX_i^2\right)}}\leqslant x\right\}\stackrel{\operatorname w}{\longrightarrow}\Phi(X).
			\end{equation*}
			从而
			\begin{align*}
				\dfrac{X-n}{\sqrt{2n}}\stackrel{\operatorname w}{\sim}\mathcal N(0,1),&& X\stackrel{\operatorname w}{\sim}\mathcal N(n,2n ).
			\end{align*}
	\end{enumerate}
\end{proof}

\begin{fproposition}\begin{proposition}[简单样本方差的方差(无偏)]
	设
	\begin{equation*}
		x_1,x_2,\cdots,x_n\,\,\operatorname{i.i.d.}\sim \mathcal N(\mu,\sigma^2)
	\end{equation*}
	则方差为
	\begin{equation*}
		s^2=\dfrac{1}{n-1}\sum_{i=1}^n\left(x_i-\bar x\right)^2
	\end{equation*}
	由于
	\begin{equation*}
		\dfrac{(n-1)s^2}{\sigma^2}\sim \chi^2(n-1)
	\end{equation*}
	则
	\begin{equation*}
		\operatorname{Var}\left[\dfrac{(n-1)s^2}{\sigma^2}\right]=2(n-1)\Longrightarrow\operatorname{Var}(s^2)=\dfrac{2\sigma^4}{n-1}
	\end{equation*}
\end{proposition}\end{fproposition}
\subsubsection{非中心$\chi^2$分布}
\begin{fdefinition}\begin{definition}
	 设随机变量 $X_1,\cdots,X_n$ 互相独立, $X_i\sim \mathcal N(a_i,1)$, $a_i(i=1,\cdots,n)$ 不全为 $0$. \par 
	 记$Y=\sum_{i=1}^nX_i^2$, 则称 $Y$ 的分布是自由度为 $n$ 和非中心参数为 $\delta=\sqrt{\sum_{i=1}^na_i^2}$ 的\textbf{非中心$\chi^2$分布}, 记为 $Y\sim \chi^2(n;\delta)$ (有的书上记作 $Y\sim \chi^2_{n,\delta}$). 特别当$\delta=0$ 时称为中心的$\chi^2$分布, 记前面所述的 $\chi^2$ 分布.\par 
	 若$Y\sim \chi^2_{n,\delta}$, 则其密度函数为
	 \begin{align*}
	 	p_{\chi^2}(x;n,\delta) =&
\begin{cases} 
\mathrm e^{-\delta^2/2} \displaystyle\sum_{i=0}^{\infty} \dfrac{1}{i!} \left( \dfrac{\delta^2}{2} \right)^i \dfrac{x^{i+n/2-1}}{2^{i+n/2}\Gamma(n/2+i)} \mathrm e^{-x/2}, & x > 0, \\
0, & x \leqslant 0 
\end{cases}\\
=&
\begin{cases} 
\mathrm e^{-\delta^2/2} \displaystyle\sum_{i=0}^{\infty} \dfrac{(\delta^2/2)^i}{i!} p_{\chi^2}(x; 2i + n), & x > 0, \\
0, & x \leqslant 0. 
\end{cases}
	 \end{align*}
\end{definition}\end{fdefinition}
参考韦来生《数理统计》第35页.
\subsection{F分布}
\begin{fdefinition}\begin{definition}[F分布]\label{Fdef}
	设 $U\sim \chi^2(n_1)$, $V\sim \chi^2(n_2)$, $U\perp\!\!\!\perp V$, 则称随机变量
	\begin{equation*}
		F=\dfrac{U/n_1}{V/n_2}\sim F(n_1,n_2).
	\end{equation*}
	服从自由度为 $n_1$及 $n_2$ 的F分布, $n_1$(resp. $n_2$) 称为分子(第一)(resp. 分母(第二))自由度.\par 
	若$F\sim F(n_1,n_2)$, 则$F$有密度函数为
	\begin{equation*}
		p_F(x;n_1,n_2)=\begin{cases}
			\dfrac{\Gamma\left(\dfrac{n_1+n_2}{2}\right)}{\Gamma\left(\dfrac{n_1}{2}\right)\Gamma\left(\dfrac{n_2}{2}\right)}\left(\dfrac{n_1}{n_2}\right)^{\frac{n_1}{2}}\cdot x^{\frac{n_1}{2}-1}\cdot \left(1+\dfrac{n_1}{n_2}x\right)^{-\frac{n_1+n_2}{2}},&y>0,\\
			0,&y\leqslant 0.
		\end{cases}
	\end{equation*}
\end{definition}\end{fdefinition}
\begin{fproposition}\begin{proposition}[F分布的性质]\label{Fp}给出四个性质:
\begin{enumerate}
	\item 若 $F\sim F(n_1,n_2)$, 则\begin{align*}
		\mathbb E(F)=&\dfrac{n_2}{n_2-2},&&\text{若}n_2>2;\\
		\operatorname{Var}(F)=&\dfrac{2n_2^2\left(n_1+n_2-2\right)}{n_1\left(n_2-2\right)^2(n_2-4)},&&\text{若}n_2>4;\\
		(\star\text{补充})\mathbb E(F^r)=&\left(\dfrac{n_2}{n_1}\right)^r\dfrac{\Gamma\left(\dfrac{n_1}{2}+r\right)\Gamma\left(\dfrac{n_2}{2}-r\right)}{\Gamma\left(\dfrac{n_1}{2}\right)\Gamma\left(\dfrac{n_2}{2}\right)},&&0<2r<n_2.
	\end{align*}
	\item 若 $F\sim F(n_1,n_2)$, 则\begin{equation*}
		\dfrac{1}{F}=\dfrac{V/n_2}{U/n_1}\sim F(n_2,n_1).
	\end{equation*}
	\item 若 $F\sim F(n_1,n_2)$, 则当$n_2>4$时, 对任意$x$, 有\begin{equation*}
		\mathbb P\left\{\dfrac{F-\mathbb E(F)}{\sqrt{\operatorname{Var}(F)}}\right\}\stackrel{\operatorname w}{\longrightarrow}\Phi(x),\,\,\,n_1\to +\infty.
		\end{equation*}
	\item \label{Fchi}对于固定的$n_1$, 有
		\begin{equation*}
			F\left(n_1,n_2\right)\stackrel{\cdot}{\sim}\dfrac{1}{n_1}\chi^2(n_1),\,\,\,n_2\to +\infty.
		\end{equation*}
\end{enumerate}	
\end{proposition}\end{fproposition}
\begin{proof}
	对于命题\ref{Fp}的性质\ref{Fchi}, 关键在于下式(大数定律),
	\begin{equation*}
		V/n_2\stackrel{\operatorname p}{\longrightarrow}1,\,\,\,n_2\to +\infty.
	\end{equation*}
\end{proof}

\begin{fremark}\begin{rmk}
	F分布的密度函数图像有以下三个特点:
	\begin{enumerate}
		\item 一只取非负值的偏态(右偏)分布;
		\item 固定$n_1$, $n_2$越大, 越渐近于$\chi^2(n_1)/n_1$ 分布;
		\item $n_1$越大, 越渐近于正态分布.
	\end{enumerate}
\end{rmk}\end{fremark}
\begin{fdefinition}\begin{definition}[F分布的分位数]
	对于给定的$0<\alpha<1$, 称满足条件
	\begin{equation*}
		\mathbb P\left\{F\leqslant F_{1-\alpha}\left(n_1,n_2\right)\right\}=\int_0^{F_{1-\alpha}\left(n_1,n_2\right)}p_F(x;n_1,n_2)\mathrm dx=1-\alpha
	\end{equation*}
	的点$F_{1-\alpha}\left(n_1,n_2\right)$ 是 $F\left(n_1,n_2\right)$分布的 $1-\alpha$ 分位数.
\end{definition}\end{fdefinition}
\begin{fproposition}\begin{proposition}\label{Feq}
	F分布的分位数有以下等式,
	\begin{equation}
		F_\alpha(n_1,n_2)=\dfrac{1}{F_{1-\alpha}\left(n_1,n_2\right)}
	\end{equation}
\end{proposition}\end{fproposition}
\begin{proof}
	现在来证明等式\eqref{Feq}:\par 
	设$F\sim F\left(n_1,n_2\right)$, 则 $1/F\sim F\left(n_2,n_1\right)$. 关键在于下式.
	\begin{equation*}
		1-\alpha=\mathbb P\left\{F\leqslant F_{1-\alpha}\left(n_1,n_2\right)\right\}=\mathbb P\left\{\dfrac{1}{F}\geqslant\dfrac{1}{F_{1-\alpha}\left(n_1,n_2\right)}\right\}.
	\end{equation*}
	从而有
	\begin{equation*}
		\alpha=1-\mathbb P\left\{\dfrac{1}{F}\geqslant\dfrac{1}{F_{1-\alpha}\left(n_1,n_2\right)}\right\}=\mathbb P\left\{\dfrac{1}{F}\leqslant\dfrac{1}{F_{1-\alpha}\left(n_1,n_2\right)}\right\}.
	\end{equation*}
	由于
	\begin{equation*}
		\mathbb P\left\{\dfrac{1}{F}\leqslant F_{\alpha}\left(n_2,n_1\right)\right\}=\alpha.
	\end{equation*}
	从而得证.
\end{proof}
\subsubsection{非中心F分布}
\begin{fdefinition}\begin{definition}
	设随机变量 $X\sim \chi^2(n_1;\delta)$, $Y\sim \chi^2(n_2)$ 且 $X\perp\!\!\!\perp Y$, 则称
	\begin{equation*}
		Z=\dfrac{X/n_1}{Y/n_2}
	\end{equation*}
	的分布是自由度为$n_1$, $n_2$ 和非中心参数为 $\delta$ 的\textbf{非中心F分布}, 记为 $Z\sim F(n_1,n_2;\delta)$. 当 $\delta =0$时, 称 $Z$ 的分布为中心的 F 分布, 即前面定义的 $F(n_1,n_2)$.\par 
	若 $Z\sim F(n_1,n_2;\delta)$, 则 $Z$ 的密度函数$p_Z(x):=p_F(x;n_1,n_2,\delta)$为
	\begin{equation*}
		p_Z(x)=\begin{cases}
			\dfrac{n_1^{\frac{n_2}{2}}n_2^{\frac{n_1}{2}}}{\Gamma\left(\dfrac{n}{2}\right)}\mathrm e^{\frac{-\delta ^2}{2}}x^{\frac{n_1}{2} -1}\displaystyle\sum_{k=0}^{+\infty}\dfrac{\left(\dfrac{\delta ^2n_1x}{2}\right)^k\Gamma\left(\dfrac{m+n}{2}+k\right)}{k!\,\Gamma\left(\dfrac{n_1}{2}+k\right)(mx+n)^{\frac{m+n}{2}+k}},&x>0\\
			0,&\text{其他}.
		\end{cases}
	\end{equation*}
\end{definition}\end{fdefinition}
参考韦来生《数理统计》第41页.
\subsection{t分布}
\begin{fdefinition}\begin{definition}\label{tdf}
	设$\operatorname{r.v.}X_1 \perp\!\!\!\perp X_2$ , 且$X_1\sim \mathcal N(0,1)$, $X_2\sim \chi^2(n)$, 则称随机变量
	\begin{equation*}
		t=\dfrac{X_1}{\sqrt{X_2/n}}\sim t(n).
	\end{equation*}
	服从自由度为 $n$ 的t分布, 又称学生氏(Student)分布.\par 
	若 $t\sim t(n)$, 则 $t$ 有密度函数为
	\begin{equation*}
		p_t(x;n)=\dfrac{\Gamma\left(\dfrac{n+1}{2}\right)}{\sqrt{n\pi}\cdot \Gamma\left(\dfrac{n}{2}\right)}\cdot \left(1+\dfrac{x^2}{n}\right)^{-\frac{n+1}{2}},\,\,\,-\infty<x<+\infty.
	\end{equation*}
\end{definition}\end{fdefinition}
\begin{fproposition}\begin{proposition}
	t分布的密度函数图像有以下性质:
	\begin{enumerate}
		\item 一只关于纵轴对称的图像;
		\item 峰比正态低, 尾比正态厚;
		\item 自由度$n$越大, 越渐近标准正态分布图像.
	\end{enumerate}
\end{proposition}\end{fproposition}
\begin{frecall}\begin{review}[Cauchy分布]
	Cauchy分布是一种连续型概率分布, 记为$\mathcal C(\theta ,\alpha)$, 其中$\theta$为位置参数, 决定分布峰值位置, $\alpha$ 为尺度参数, 控制分布的分散程度.\par 
	其概率密度函数为\begin{equation*}
		p_{\mathcal C}(x;\theta,\alpha)=\frac{1}{\pi\alpha\left(1+\left(\dfrac{x-\theta}{\alpha}\right)^2\right)},
	\end{equation*}
	当$\theta = 0, \alpha = 1$时, 得到标准 Cauchy分布, 概率密度函数为 
	\begin{equation*}
			p_{\mathcal C}(x;0,1)=\dfrac{1}{\pi(1+x^2)}
	\end{equation*}
	有如下性质
	\begin{enumerate}
		\item 期望和方差不存在.
		\item 关于位置参数$\theta$对称, 是左右对称的分布.
		\item 两个独立的Cauchy分布变量相加, 结果仍服从Cauchy分布.
		\item (重尾性)相比于正态分布, Cauchy分布的尾部下降至0的速度慢很多, 意味着极端值出现的概率相对较大.
	\end{enumerate}
\end{review}\end{frecall}
\begin{fproposition}\begin{proposition}[t分布的性质]
	t分布有如下性质:
	\begin{enumerate}
		\item 自由度为 $1$ 的t分布就是标准Cauchy分布, 他的均值不存在.
		\item 当$n>1$时, 若$t\sim t(n)$, 则 $\mathbb E(t)=0$;
		\item 当$n>2$时, 若$t\sim t(n)$, 则 $\exists\,\operatorname{Var}(t)=\dfrac{n}{n-2}$.
		\item 当自由度较大, 可用标准正态近似, 数学一点就是\begin{equation*}
			t(n)\stackrel{\cdot}{\sim}\mathcal N(0,1),\,\,\,n\to +\infty.
		\end{equation*}
	\end{enumerate}
\end{proposition}\end{fproposition}

\begin{fdefinition}\begin{definition}[t分布的分位数]
	当$\operatorname{r.v.}t\sim t(n)$时, 称满足
	\begin{equation*}
		\mathbb P\left\{t\leqslant t_{1-\alpha}(n)\right\}=\int_{-\infty}^{t_{1-\alpha}(n)}p_t(x;n)\mathrm dx=1-\alpha
	\end{equation*}
	的$t_{1-\alpha}(n)$是自由度为 $n$ 的t分布的 $1-\alpha$ 分位数.
\end{definition}\end{fdefinition}

\begin{fproposition}\begin{proposition}
	t分布的分位数有如下性质:
	\begin{equation*}
		t_\alpha(n)=-t_{1-\alpha}(n).
	\end{equation*}
\end{proposition}\end{fproposition}

\begin{fexample}\begin{example}
	设总体 $X, Y\,\,\operatorname{i.i.d.}\sim \mathcal N(0,9)$, 而 
	\begin{align*}
		X_1,\cdots,X_9\,\,\operatorname{i.i.d.}\sim X, &&Y_1,\cdots,Y_9\,\,\operatorname{i.i.d.}\sim Y.
	\end{align*}
	那么
	\begin{equation*}
		U=\dfrac{\sum_{i=1}^9X_i}{\sqrt{\sum_{j=1}^9Y_j^2}}\sim t(9).
	\end{equation*}
	证明是简单的, 注意到
	\begin{align*}
		\sum_{i=1}^9X_i\sim\mathcal N(0,81),&&\left(\dfrac{Y_j}{3}\right)^2\sim\chi^2(1).
	\end{align*}
	那么自然有
	\begin{align*}
		\dfrac{1}{9}\sum_{i=1}^9X_i\sim \mathcal N(0,1),&&\sum_{j=1}^9\dfrac{Y_j^2}{9}=\dfrac{1}{9}\sum_{j=1}^9Y_j^2\sim \chi^2(9)
	\end{align*}
	且 
	\begin{equation*}
		\left(\frac{1}{9}\sum_{i=1}^9X_i\right) \perp\!\!\!\perp\left(\frac{1}{9}\sum_{j=1}^9Y_j^2\right),
	\end{equation*}
	故
	\begin{equation*}
		U=\dfrac{1}{9}\displaystyle\sum_{i=1}^9X_i\left/\sqrt{\dfrac{1}{81}\displaystyle\sum_{j=1}^9Y_j^2}\right.=\dfrac{\sum_{i=1}^9X_i}{\sqrt{\sum_{j=1}^9Y_j^2}}\sim t(9).
	\end{equation*}
\end{example}\end{fexample}
\subsubsection{非中心t分布}
\begin{fdefinition}\begin{definition}
	设随机变量 $X\sim \mathcal N(\delta,1)$, $Y\sim \chi^2(n)$, 且 $X\perp\!\!\!\perp Y$, 则称
	\begin{equation*}
		Z=\dfrac{X}{\sqrt{Y/n}}
	\end{equation*}
	的分布是自由度为 $n$ 和非中心参数为 $\delta$ 的\textbf{非中心t分布}, 记为 $Z\sim t(n;\delta)$ (也有书上记作 $\sim t_{n,\delta}$). 特别当 $\delta =0$ 时的分布称为中心的t分布, 即前面所述的 $t(n)$ 分布.\par 
	非中心 t分布的密度函数为
	\begin{align*}
		p_t(x;n,\delta)=\dfrac{n^{n/2}}{\sqrt{\pi}\cdot\Gamma(n/2)}\cdot\dfrac{\mathrm e^{-\delta^2/2}}{(n+x^2)^{\frac{n+1}{2}}}\sum_{i=0}^{+\infty}\Gamma\left(\dfrac{n+i+1}{2}\right)\dfrac{(\delta x)^i}{i!}\left(\dfrac{2}{n+x^2}\right)^{i/2},\\
		-\infty<x<+\infty.
	\end{align*}
\end{definition}\end{fdefinition}
参考韦来生《数理统计》第38页.
\newpage
\section{三大抽样分布与正态总体间的关联}
\begin{ftheorem}\begin{theorem}[正态总体样本线性函数的分布]
	设
	\begin{equation*}
		x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim \mathcal N(\mu,\sigma^2).
	\end{equation*}
	令 $G=\sum_{i=1}^na_ix_i$, 其中 $a_1,\cdots,a_n$ 为已知常数.那么
	\begin{equation*}
		G\sim \mathcal N(\mu\sum_{i=1}^na_i,\sigma^2\sum_{i=1}^na_i^2).
	\end{equation*}\par 
	当$a_i$取到$1/n$, $i=1,\cdots,n$. 那么归为定理\ref{ybjz}, 即
	\begin{equation*}
		G=\bar x\sim \mathcal N\left(\mu, \dfrac{\sigma^2}{n}\right)\stackrel{\operatorname{i.e.}}{\Longrightarrow}\dfrac{\bar x-\mu}{\sigma/\sqrt{n}}\sim \mathcal N(0,1).
	\end{equation*}
\end{theorem}\end{ftheorem}

\begin{ftheorem}\begin{theorem}\label{dl}
	设
	\begin{equation*}
		x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim \mathcal N(\mu,\sigma^2).
	\end{equation*}
	其样本均值与样本方差分别为
	\begin{align*}
		\bar x=\dfrac{1}{n}\sum_{i=1}^nx_i,&&s^2=\dfrac{1}{n-1}\sum_{i=1}^n\left(x_i-\bar x\right)^2.
	\end{align*}
	则有
	\begin{enumerate}
		\item\label{nyb1} $\bar x\perp\!\!\!\perp s^2$;
		\item\label{nyb2} $\bar x\sim \mathcal N(\mu,\sigma/n)$;
		\item\label{nyb3} $(n-1)s^2/\sigma^2\sim \chi^2(n-1)$, 即$ns_n^2/\sigma^2\sim\chi^2(n-1)$.
	\end{enumerate}
\end{theorem}\end{ftheorem}

\begin{proof}
	根据定理\ref{iddlhmd}, 有
	\begin{align*}
		p(x_1,\cdots,x_n)=&\prod_{i=1}^n\dfrac{1}{\sqrt{2\pi}\sigma}\mathrm e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}=(2\pi\sigma^2)^{-\frac{n}{2}}\mathrm e^{-\sum\limits_{i=1}^{n}\frac{(x_i-\mu)}{2\sigma^2}}\\
		=&(2\pi\sigma^2)^{-\frac{n}{2}}\exp\left\{-\dfrac{\sum\limits_{i=1}^nx_i^2-2n\bar x\mu+n\mu^2}{2\sigma^2}\right\}
	\end{align*}
	记
	\begin{equation*}
		\bm{X}=(x_1,\cdots,x_n)^\top
	\end{equation*}
	给出一个 $n$ 维的正交阵
	\begin{equation*}
		\bm A=\begin{pmatrix}
			\dfrac{1}{\sqrt{n}}& \dfrac{1}{\sqrt{n}}& \dfrac{1}{\sqrt{n}}& \cdots &\dfrac{1}{\sqrt{n}}\\[0.5cm]
			\dfrac{1}{\sqrt{2\cdot 1}}&-\dfrac{1}{\sqrt{2\cdot 1}}& 0&\cdots &0\\[0.5cm]
			\dfrac{1}{\sqrt{3\cdot 2}}&\dfrac{1}{\sqrt{3\cdot 2}}&-\dfrac{1}{\sqrt{3\cdot 2}}&\cdots &0\\[0.5cm]
			\vdots &\vdots &\vdots &\ddots &\vdots\\[0.5cm]
			\dfrac{1}{\sqrt{n(n-1)}}& \dfrac{1}{\sqrt{n(n-1)}}& \dfrac{1}{\sqrt{n(n-1)}}&\cdots &-\dfrac{n-1}{\sqrt{n(n-1)}}
		\end{pmatrix}
	\end{equation*}
	令
	\begin{equation*}
		\bm Y=(y_1,\cdots,y_n)^\top=\bm A\bm X
	\end{equation*}
	注意到该变换的Jacobi行列式 $\det(A)=1$.且有
	\begin{align*}
		\bar x=\dfrac{1}{\sqrt{n}}y_1,&&\sum_{i=1}^ny_i^2=\bm Y^\top\bm Y=\bm X^\top\bm A^\top \bm A\bm X=\sum_{i=1}^nx_i^2.
	\end{align*}
	由$p_{\bm Y}(\bm Y)=p_{\bm X}(\bm X)|\bm A|^{-1}=p_{\bm X}(\bm X)$, 从而得到密度函数
	\begin{align*}
		p(y_1,\cdots,y_n)=&(2\pi\sigma^2)^{-\frac{n}{2}}\exp\left\{-\dfrac{\sum\limits_{i=1}^ny_i^2-2\sqrt{n}y_1\mu+n\mu^2}{2\sigma^2}\right\}\\
		=&(2\pi\sigma^2)^{-\frac{n}{2}}\exp\left\{-\dfrac{\sum\limits_{i=1}^ny_i^2+\left(y_1-\sqrt{n}\mu\right)^2}{2\sigma^2}\right\}
	\end{align*}
	从而 $\bm Y$ 的各个分量互相独立, 切都服从正态分布:
	\begin{align*}
		y_1\sim\mathcal N(\sqrt{n}\mu,\sigma^2),&&y_j\sim\mathcal N(0,\sigma^2),\,\forall j\neq 1.
	\end{align*}
	从而结论\ref{nyb2}得证.\par 
	由于
	\begin{equation*}
		(n-1)s^2=\sum_{i=1}^n\left(x_i-\bar x\right)^2=\sum_{i=1}^nx_i^2-\left(\sqrt{n}\bar x\right)^2=\sum_{i=1}^ny_i^2-y_i^2=\sum_{i\neq 1}y_i^2
	\end{equation*}
	而 
	\begin{equation*}
		\bar x=\dfrac{1}{\sqrt{n}}y_1\perp\!\!\!\perp\sum_{i\neq 1}y_i^2
	\end{equation*}
	从而结论\ref{nyb1}得证.\par 
	由于
	\begin{equation*}
		y_2,\cdots,y_n\,\,\operatorname{i.i.d.}\sim\mathcal N(0,\sigma^2),
	\end{equation*}
	于是
	\begin{equation*}
		\dfrac{y_i}{\sigma}\sim\mathcal N(0,1),\,\,\forall i\neq 1.
	\end{equation*}
	从而
	\begin{equation*}
		\dfrac{(n-1)s^2}{\sigma^2}=\sum_{i\neq 1}\left(\dfrac{y_i}{\sigma}\right)^2\sim\chi^2(n-1).
	\end{equation*}
	从而结论\ref{nyb3}得证.
\end{proof}

\begin{fcorollary}\begin{corollary}\label{coro1}
	设
	\begin{align*}
		x_1,\cdots,x_m&\,\,\operatorname{i.i.d.}\sim \mathcal N(\mu_1,\sigma_1^2)\\
		y_1,\cdots,y_n&\,\,\operatorname{i.i.d.}\sim \mathcal N(\mu_2,\sigma_2^2)
	\end{align*}
	且这两组样本互相独立, 则有
	\begin{equation*}
		F=\dfrac{s_x^2/\sigma_1^2}{s_y^2/\sigma_2^2}=\dfrac{\left.\sum\limits_{i=1}^m\left(x_i-\bar x\right)^2\right/\left(m\sigma_1^2-\sigma_1^2\right)}{\left.\sum\limits_{i=1}^n\left(y_i-\bar y\right)^2\right/\left(n\sigma_2^2-\sigma_2^2\right)}\sim F(m-1,n-1).
	\end{equation*}
	其中
	\begin{align*}
	\bar x=&\dfrac{1}{m}\sum_{i=1}^mx_i,&\bar y =&\dfrac{1}{n}\sum_{i=1}^ny_i;\\
		s_x^2=&\dfrac{1}{m-1}\sum_{i=1}^m\left(x_i-\bar x\right)^2,&s_y^2=&\dfrac{1}{n-1}\sum_{i=1}^n\left(y_i-\bar y\right)^2.
	\end{align*}
	特别, 若$\sigma_1^2=\sigma_2^2$, 则
	\begin{equation*}
		F=\dfrac{s_x^2}{s_y^2}\sim F(m-1,n-1).
	\end{equation*}
\end{corollary}\end{fcorollary}

\begin{proof}
	证明是基于定理\ref{dl}.\par 
	由于这两组样本互相独立, 那么 $s_x^2\perp\!\!\!\perp s_y^2$, 由定理\ref{dl}有
	\begin{align*}
		\dfrac{(m-1)s_x^2}{\sigma_1^2}\sim\chi^2(m-1),&&\dfrac{(n-1)s_y^2}{\sigma_2^2}\sim\chi^2(n-1).
	\end{align*}
	再利用定义\ref{Fdef}得证.
\end{proof}

\begin{fcorollary}\begin{corollary}
	设
	\begin{equation*}
		x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim \mathcal N(\mu,\sigma^2).
	\end{equation*}
	$\bar x$ 与 $s^2$分别为样本均值与样本方差, 则有
	\begin{equation*}
		t=\dfrac{\bar x-\mu}{s/\sqrt{n}}\sim t(n-1)
	\end{equation*}
\end{corollary}\end{fcorollary}

\begin{proof}
	由定理\ref{dl}知, $\bar x\perp\!\!\!\perp s^2$, 且有
	\begin{align*}
		\dfrac{\bar x-\mu}{\sigma/\sqrt{n}}\sim \mathcal N(0,1),&&\dfrac{(n-1)s^2}{\sigma^2}\sim \chi^2(n-1).
	\end{align*}
	由定义\ref{tdf}立即有(得证)
	\begin{equation*}
		\dfrac{\dfrac{\bar x-\mu}{\sigma/\sqrt{n}}}{\sqrt{\left.\dfrac{(n-1)s^2}{\sigma^2}\right/(n-1)}}=\dfrac{\bar x-\mu}{s/\sqrt{n}}\sim t(n-1)
	\end{equation*}\par 
	类似的可以得到
	\begin{equation*}
		\dfrac{\bar x-\mu}{s_n/\sqrt{n-1}}\sim t(n-1).
	\end{equation*}
	这事实上只是形式上的变形.
\end{proof}

\begin{fcorollary}\begin{corollary}
	再推论\ref{coro1}的记号下, 设$\sigma_1^2=\sigma_2^2=\sigma^2$, 并记
	\begin{equation*}
		s_w^2=\dfrac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2}=\dfrac{\sum_{i=1}^m\left(x_i-\bar x\right)^2+\sum_{i=1}^n\left(y_i-\bar y\right)^2}{m+n-2}
	\end{equation*}
	则
	\begin{equation*}
		\dfrac{\left(\bar x-\bar y\right)-\left(\mu_1-\mu_2\right)}{s_w\sqrt{\dfrac{1}{m}+\dfrac{1}{n}}}\sim t(m+n-2)
	\end{equation*}
\end{corollary}\end{fcorollary}

\begin{proof}
	由正态分布的可加性与
	\begin{align*}
		\bar x\sim \mathcal N(\mu_1,\sigma^2/m),&&\bar y\sim \mathcal N(\mu_2,\sigma^2/n),&&\bar x\perp\!\!\!\perp \bar y.
	\end{align*}
	立刻得
	\begin{equation*}
		\bar x-\bar y\sim \mathcal N(\mu_1-\mu_2,\sigma^2/m+\sigma^2/n)\stackrel{\operatorname{i.e.}}{\Longrightarrow}\dfrac{\left(\bar x-\bar y\right)-\left(\mu_1-\mu_2\right)}{\sigma\sqrt{\dfrac{1}{m}+\dfrac{1}{n}}}\sim \mathcal N(0,1)
	\end{equation*}
	利用定理\ref{dl}知
	\begin{align*}
		\dfrac{(m-1)s_x^2}{\sigma^2}\sim\chi^2(m-1),&&\dfrac{(n-1)s_y^2}{\sigma^2}\sim\chi^2(n-1).
	\end{align*}
	且$s_x^2\perp\!\!\!\perp s_y^2$, 由$\chi^2$ 分布得可加性得
	\begin{equation*}
		\dfrac{(m-1)s_x^2+(n-1)s_y^2}{\sigma^2}=\dfrac{(m+n-2)s_w^2}{\sigma^2}\sim\chi^2(m+n-2).
	\end{equation*}
	由于 $(\bar x-\bar y)\perp\!\!\!\perp s_w^2$, 利用定义\ref{tdf}立即有(得证)
	\begin{align*}
		\left.\dfrac{\left(\bar x-\bar y\right)-\left(\mu_1-\mu_2\right)}{\sigma\sqrt{\dfrac{1}{m}+\dfrac{1}{n}}}\right/\sqrt{\left.\dfrac{(m+n-2)s_w^2}{\sigma^2}\right/(m+n-2)}\\=\dfrac{\left(\bar x-\bar y\right)-\left(\mu_1-\mu_2\right)}{s_w\sqrt{\dfrac{1}{m}+\dfrac{1}{n}}}\sim t(m+n-2).
	\end{align*}
\end{proof}
我们将上述内容分类归位如下两部分:
\subsection{单个正态总体的抽样分布}
设$x_1,\cdots,x_m\,\,\operatorname{i.i.d.}\sim\mathcal N(\mu,\sigma^2)$.
那么
\begin{enumerate}
	\item $\displaystyle
		\dfrac{\bar x-\mu}{\sigma/\sqrt{m}}\sim\mathcal N(0,1),\quad\dfrac{\bar x-\mu}{s/\sqrt{m}}\sim t(m-1).
$
	\item $\displaystyle
		\dfrac{(m-1)s^2}{\sigma^2}\sim\chi^2(m-1),\quad\dfrac{ms_m^2}{\sigma^2}\sim\chi^2(m-1).
$
	\item $\displaystyle
		\sum_{i=1}^m\left(\dfrac{x_1-\mu}{\sigma}\right)^2\sim\chi^2(m),\quad\sum_{i=1}^m\left(\dfrac{x_1-\bar x}{\sigma}\right)^2\sim\chi^2(m-1).
$
\end{enumerate}
\subsection{双个正态总体的抽样分布}
设$x_1,\cdots,x_m\,\,\operatorname{i.i.d.}\sim\mathcal N(\mu_1,\sigma_1^2)$, $y_1,\cdots,y_n\,\,\operatorname{i.i.d.}\sim\mathcal N(\mu_2,\sigma_2^2)$. 那么
\begin{enumerate}
	\item $\displaystyle
	\dfrac{\left(\bar x-\bar y\right)-\left(\mu_1-\mu_2\right)}{\sqrt{\dfrac{\sigma_1^2}{m}+\dfrac{\sigma_2^2}{n}}}\sim \mathcal N(0,1).
	$
	\item $\displaystyle
	\dfrac{\left(\bar x-\bar y\right)-\left(\mu_1-\mu_2\right)}{s_w\sqrt{\dfrac{1}{m}+\dfrac{1}{n}}}\sim t(m+n-2), (\sigma_1^2=\sigma_2^2=\sigma^2).
	$\\ 其中$\displaystyle
	s_w^2=\dfrac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2}=\dfrac{\sum\limits_{i=1}^m\left(x_i-\bar x\right)^2+\sum\limits_{i=1}^n\left(y_i-\bar y\right)^2}{m+n-2}
	$
	\item $\displaystyle
	 F=\dfrac{s_x^2/\sigma_1^2}{s_y^2/\sigma_2^2}\sim F(m-1,n-1).
	 $
	\item $\displaystyle
	F=\dfrac{s_x^2}{s_y^2}\sim F(m-1,n-1), (\sigma_1^2=\sigma_2^2).
	$
\end{enumerate}
\newpage
\section{充分统计量}
\begin{fdefinition}\begin{definition}[1922,Fisher:充分统计量]
	\begin{equation*}
		x_1,\cdots,x_n\,\,\operatorname{i.i.d}\sim F(x;\theta)
	\end{equation*}
	统计量$T=T(x_1,\cdots,x_n)$称为$\theta$的充分统计量, 如果在给定$T$的取值$t$后, 条件分布$F(x_1,\cdots,x_n|T=t)$与参数无关.
\end{definition}\end{fdefinition}
\begin{fremark}\begin{rmk}[充分统计量的意义]
	如果知道了统计量$T$的观察值以后, 样本的条件分布与$\theta$无关, 也就是样本的剩余部分不再包含关于$\theta$的信息, 换言之, 在$T$中包含了关于$\theta$的全部信息, 因此要做关于$\theta$的统计推断, 只需用统计量$T$就足够.
\end{rmk}\end{fremark}
要注意充分统计量不唯一.
\begin{ftheorem}\begin{theorem}[因子分解定理]
	\begin{equation*}
		X_1,\cdots,X_n\,\,\operatorname{i.i.d.}\sim p(x;\theta)
	\end{equation*}
	则$T=T(X_1,\cdots,X_n)$是充分统计量的充分必要条件是:存在两个函数$g(t;\theta)$和$h(x_1,\cdots,x_n)$使得对任意的$\theta$和任一组观测值$x_1,\cdots,x_n$, 有
	\begin{equation*}
		p(x_1,\cdots,x_n;\theta)=g(T(x_1,\cdots,x_n);\theta)h(x_1,\cdots,x_n)
	\end{equation*}
	其中$g(t,\theta)$是通过统计量$T$的取值而依赖于样本的.
\end{theorem}\end{ftheorem}

\begin{table}[htbp]
\centering
\begin{tabular}{lll}
\toprule
\textbf{分布} & \textbf{参数} & \textbf{充分统计量} \\
\midrule
两点分布 \(\operatorname b(1, p) \) & \( p \) & \( T = \overline{x} \) \\
Poisson 分布 \( \mathcal P(\lambda) \) & \( \lambda \) & \( T = \overline{x} \) \\
几何分布 \(\operatorname {Ge}(\theta) \) & \( \theta \) & \( T = \overline{x} \) \\
均匀分布 \(\mathcal U(0, \theta) \) & \( \theta \) & \( T = X_{(n)} \) \\
均匀分布 \(\mathcal U(\theta_1, \theta_2) \) & \( (\theta_1, \theta_2) \) & \( \left( X_{(1)}, X_{(n)} \right) \) \\
均匀分布 \(\mathcal U(\theta, 2\theta) \) & \( \theta \) & \( \left( X_{(1)}, X_{(n)} \right) \) \\
正态分布 \(\mathcal N(\mu, \sigma^2) \) & \( (\mu, \sigma^2) \) & \( \left( \overline{x}, s^2 \right) \, \text{或} \, \left( \overline{x}, \sum_{i=1}^n x_i^2 \right) \, \text{或} \, \left( \sum_{i=1}^n x_i , \sum_{i=1}^n x_i^2 \right) \) \\
指数分布 \(\operatorname {Exp}(\lambda) \) & \( \lambda \) & \( T = \overline{x} \) \\
伽玛分布 \(\operatorname {Ga}(\alpha, \lambda) \) & \( (\alpha, \lambda) \) & \( \left( \prod_{i=1}^n x_i, \sum_{i=1}^n x_i \right) \) \\
\bottomrule
\end{tabular}
\caption{常见分布的充分统计量}
\label{tab:sufficient-statistics}
\end{table}
\chapter{(参数)点估计}\label{dgj}
\textbf{参数估计(parameterestimation)}问题常有两类:\textbf{点估计}和\textbf{区间估计}.\par
点估计就是用样本函数的一个具体数值去估计一个未知参数. 区间估计就是用样本函数的两个值构成的区间去估计未知参数的取值范围. \par
例如,在某市居民年人均收入的调查中, 估计该市居民的年人均收入为 $18250$ 元, 这是一个点估计, 若估计年人均收入在 $16350$ 元到 $19850$ 元之间, 这就是一个区间估计. \par 
点估计与区间估计是互为补充的参数估计形式, 本章主要是讨论参数的点估计问题, 区间估计问题在第\ref{qujianguji}章讨论.
\begin{fdefinition}\begin{definition}[点估计(point estimation)]
	\begin{equation*}
		X_1,\cdots,X_n\operatorname{i.i.d.}\sim \operatorname{r.v.}X.
	\end{equation*}
	$\hat g(X_1,\cdots,X_n)$是样本的函数, 用$\hat g(X_1,\cdots,X_n)$作为$g(\theta)$的估计, 称为\textbf{点估计}
\end{definition}\end{fdefinition}
\newpage
\section{矩估计}
\begin{equation*}
	x_1,\cdots,x_n\,\,\operatorname{i.d.d.}\sim \operatorname{r.v.}X.
\end{equation*}
对于$k=1,2,\cdots$分别做如下约定记号:
\begin{align*}
	\mu_k=&\mathbb E(X^k),&&a_k=\dfrac{1}{n}\sum_{i=1}^nx_i^k,&&\text{$k$阶原点矩}.\\
	v_k=&\mathbb E[X-\mathbb E(X)]^k,&&b_k=\dfrac{1}{n}\sum_{i=1}^n(x_i-\bar x)^k,&&\text{$k$阶中心矩}.
\end{align*}
实际上, 若$|\mathbb E(X)|=|\mu|<+\infty$, 基于大数定律, 则
\begin{align*}
	\bar x=\dfrac{1}{n}\sum_{i=1}^nx_i&\stackrel{\operatorname p}{\longrightarrow}\mathbb E(X)=\mu\\
	\underbrace{a_k=\dfrac{1}{n}\sum_{i=1}^nx_i^k}_{\text{样本原点矩}}&\stackrel{\operatorname p}{\longrightarrow}\underbrace{\mathbb E(X^k)=\mu_k}_{\text{总体原点矩}},\quad (k=1,2,\cdots)
\end{align*}
一句话来说
\begin{equation*}
	g(a_1,\cdots,a_k)\stackrel{\operatorname p}{\longrightarrow}g(\mu_1,\cdots,\mu_k),\quad(n\to \infty, g\in\mathscr C(\mathbb R^k)).
\end{equation*}
\begin{fdefinition}\begin{definition}[矩估计法]
	用\textbf{样本(原点)矩}估计相应的\textbf{总体(原点)矩}, 又用样本(原点)矩的连续函数估计相应的总体(原点)矩的连续函数, 这种参数点估计法称为\textbf{矩估计法}, 或称\textbf{矩法(moment method of estimation)}.即
	\begin{align*}
		\mathbb E(X^K)=\mu_k\approx &a_k=\dfrac{1}{n}\sum_{i=1}^nx_i^k,\\
		g(\mu_1,\cdots,\mu_k)\approx &g(a_1,\cdots,a_k).
	\end{align*}
\end{definition}\end{fdefinition}
矩法的是指是用经验分布函数去替换总体分布函数, 理论基础是Glivenko-Cantelli定理(\ref{glwk}).\par 
矩法的优缺点: 优点:直观简单,不需知道总体分布形式, 对期望方差极其方便;缺点:若总体原点矩不存在则失效, 不具有唯一性, 没有充分利用分布.
\newpage
\section{最(极)大似然估计}
\begin{fproposition}\begin{proposition}[最大似然原理]
	一次试验中发生了的时间的概率是所有可能的概率中最大的.
\end{proposition}\end{fproposition}
若$X_1,\cdots,X_n$是取自总体$\operatorname{r.v.}X$(连续型)的一个样本, 已知其概率密度为$p(x;\theta)$, $\theta\in\Theta$为待估参数, 样本的联合概率密度为
\begin{equation*}
	p(x_1,\cdots,x_n;\theta)=\prod_{i=1}^np(x_i;\theta)
\end{equation*}
设$x_1^\star,\cdots,x_n^\star$为相应$X_1,\cdots,X_n$的样本值, 则随机点$(X_1,\cdots,X_n)$落在$(x_1^\star,\cdots,x_n^\star)$的领域(边长分别为$\mathrm dx_1,\cdots,\mathrm dx_n$的$n$维立方体)内的概率近似为:
\begin{equation*}
	\prod_{i=1}^np(x_i;\theta)\mathrm dx_i
\end{equation*}\par 
因此在得到样本值$(x_1^\star,\cdots,x_n^\star)$的情况下, 自然应当选取使得$\prod_{i}p(x_i^\star;\theta)\mathrm dx_i$达到最大的$\theta$的值作为未知参数$\theta$的估计值.\par 
显然当未知参数$\theta$等于这个值时, 出现给定的那个样本观测值的可能性最大. \par 
注意到$\prod_i \mathrm dx_i$不随$\theta$而变, 故考虑
\begin{equation*}
	L(\theta)=p(x_1^\star,\cdots,x_n^\star;\theta)=\prod_{i=1}^np(x_i^\star;\theta)
\end{equation*}
的最大值, 这里$L(\theta)$称为\textbf{样本的似然函数}.
\begin{fdefinition}\begin{definition}[最大似然估计原理]
	设$X_1,\cdots,X_n$是取自总体$X$的一个样本, 样本的联合密度(连续型)或联合概率密度(离散型)为
	\begin{equation*}
		p(x_1,\cdots,x_n;\theta)
	\end{equation*}\par 
	当给定样本$X_1,\cdots,X_n$时, 定义似然函数为:
	\begin{equation*}
		L(\theta)=p(x_1^\star,\cdots,x_n^\star;\theta)
	\end{equation*}
	这里$x_1^\star,\cdots,x_n^\star$是样本的观察值.\\
	\boxed{\text{最大似然估计就是使样本的似然函数$L(\theta)$达到最大值.}}
\end{definition}\end{fdefinition}

\begin{fdefinition}\begin{definition}[似然函数]
	设总体的概率密度为$p(x;\theta)$, $\Theta$是参数$\theta$可能取值的参数空间, $x_1,\cdots,x_n$是样本, 将样本的联合概率函数看成$\theta$的函数, 用$L(\theta;x_1,\cdots,x_n)$表示, 简记为$L(\theta)$.
	\begin{equation*}
		L(\theta)=L(\theta;x_1,\cdots,x_n):=\prod_{i=1}^np(x_i;\theta)
	\end{equation*}
	称为样本的\textbf{似然函数}.
\end{definition}\end{fdefinition}
\begin{fdefinition}\begin{definition}[最(极)大似然估计值(resp. 量)]
	最大似然估计法就是用使得$L(\theta)$达到最大的$\hat\theta$去估计$\theta$.
	\begin{equation}\label{zdsryz}
		\hat\theta\in\left\{\hat\theta\colon L\left(\hat\theta\right)=\max_{\theta}L(\theta)\right\}
	\end{equation}
	称$\hat\theta$为$\theta$的\textbf{最(极)大似然估计值(MLE,Maximum Likelihood Estimate)}. 相应的统计量$\theta(x_1,\cdots,x_n)$称为$\theta$的\textbf{最(极)大似然估计量}.
\end{definition}\end{fdefinition}

\begin{fremark}\begin{rmk}
	由于$\ln(x)$是$x$的增函数,故若$\ln L(\theta)$关于$\theta\in\mathbb R$可微, 则问题转化为
	\begin{equation*}
		\dfrac{\mathrm d\ln L(\theta)}{\mathrm d\theta}=0.
	\end{equation*}
	否则则需要用最大似然原则\eqref{zdsryz}来求.
\end{rmk}\end{fremark}

\begin{ftheorem}\begin{theorem}[最大似然估计的不变性]
	若果$\hat\theta$是$\theta$的最大似然估计, 则对任意函数$g(\theta)$(具有单值反函数), 其最大似然估计为$g\left(\hat\theta\right)$.
\end{theorem}\end{ftheorem}
\newpage
\section{估计(拟合)评价}
\subsection{无偏性}
\begin{fdefinition}\begin{definition}
	设 $\hat{\theta}=\hat\theta(x_1,\cdots,x_n)$ 是参数 $\theta$ 的估计量, $\theta$ 的参数空间为$\Theta$. 若对任意 \(\theta \in \Theta\), 有
	\begin{equation*}
		\mathbb E\left(\hat{\theta}\right) = \theta
	\end{equation*}
则称$ \hat{\theta}$ 为无偏估计, 否则为有偏估计.\par 
称$b\left(\hat\theta\right)=\mathbb E\left(\hat\theta-\theta\right)$为$\hat\theta$的偏差.
\end{definition}\end{fdefinition}

\begin{fexample}\begin{example}
	$\hat{\sigma^2}=s^2=\dfrac{1}{n-1}\sum\limits_{i=1}^n\left(X_i-\bar X\right)^2$是$\sigma^2$的无偏估计量.
\end{example}\end{fexample}

\begin{fexample}\begin{example}
	样本 \(k \) 阶原点矩 \(A_k = \dfrac{1}{n}\sum\limits_{i} x_i^k\) 是总体 \(k \) 阶矩 \(\mu_k = \mathbb E\left(X^k\right)\) 的无偏估计.
\end{example}\end{fexample}

\begin{fdefinition}\begin{definition}[渐近无偏估计]
	\begin{align*}
		\lim_{n\to +\infty}\mathbb E\left(\hat{\theta_n}\right)=\theta
	\end{align*}
\end{definition}\end{fdefinition}

\begin{fexample}\begin{example}
	$s_n^2$为$\sigma^2$的渐近无偏估计.
\end{example}\end{fexample}

\begin{fproposition}\begin{proposition}
性质:
	\begin{enumerate}
		\item 无偏化修正技术: 如样本方差 \(s_n^2 = \frac{1}{n}\sum(X_i - \bar{X})^2\) 有偏, 修正后 \(S^2 = \frac{n}{n-1}s_n^2\) 无偏.
		\item 非不变性: 若 \(\hat{\theta}\) 无偏, \(g(\hat{\theta})\) 不一定是 \(g(\theta)\) 的无偏估计（如 \(S\) 不是 \(\sigma\) 的无偏估计).
	\end{enumerate}
\end{proposition}\end{fproposition}
\begin{fproposition}\begin{proposition}
	无偏性的缺点:
	\begin{enumerate}
		\item 可能不合理: 即可能出现负值估计正值的情况(如$x_1\sim \mathcal P(\lambda)$, 可以验证$(-2)^{x_1}$是$\mathrm e^{-3\lambda}$的无偏估计量).
		\item 可能不可估: 即参数的无偏估计量可能不存在(如Cauchy分布).
		\item 可能不唯一: 若$\hat{\theta}_1$, $\hat{\theta}_2$都是$\theta$的无偏估计量, 那么对任意$\lambda\in\mathbb R$, $\lambda \hat\theta_1+(1-\lambda)\hat\theta_2$ 是参数$\theta$的无偏估计.
	\end{enumerate}
\end{proposition}\end{fproposition}
\subsection{有效性}
\begin{fdefinition}\begin{definition}
	设$\hat\theta_1$, $\hat\theta_2$是$\theta$的两个无偏估计, 如果对任意的$\theta\in\Theta$, 有
	\begin{align*}
		\operatorname{Var}\left(\hat\theta_1\right)\leqslant\operatorname{Var}\left(\hat\theta_2\right).
	\end{align*}
	且至少有一个$\theta\in\Theta$使得上述不等号严格成立, 则称$\hat\theta_1$比 $\hat\theta_2$有效.
\end{definition}\end{fdefinition}
\subsection{相合性(一致性)}
\begin{fdefinition}\begin{definition}
	设$\theta\in\Theta$为未知参数, $\hat\theta_n=\hat\theta_n(x_1,\cdots,x_n)$是$\theta$的一个估计量, $n$是样本容量, 若对任何一个$\varepsilon>0$, 有
	\begin{align*}
		\lim_{n\to \infty}\mathbb P\left(\left|\hat\theta_n-\theta\right|\geqslant\varepsilon\right)=0
	\end{align*}
	则称$\hat\theta_n$为参数$\theta$的想和估计.
\end{definition}\end{fdefinition}
上式可以理解为
\begin{align*}
	\hat\theta_n\stackrel{\operatorname w}{\longrightarrow}\theta,\quad n\to \infty.
\end{align*}
\begin{fproposition}\begin{proposition}
	矩估计,最大似然估计 都具有相合性.
\end{proposition}\end{fproposition}
\begin{ftheorem}\begin{theorem}
	设$\hat\theta_n=\hat\theta_n(x_1,\cdots,x_n)$是$\theta$的一个估计量, 若
	\begin{align*}
		\lim_{n\to \infty}\mathbb E\left(\hat\theta_n\right)=\theta,\quad\lim_{n\to\infty}\operatorname{Var}\left(\hat\theta_n\right)=0.
	\end{align*}
	则$\hat\theta_n$是$\theta$的相合估计
\end{theorem}\end{ftheorem}
\begin{ftheorem}\begin{theorem}
	相合估计具有不变性, 即若$\hat\theta_n$是$\theta$的相合估计, 函数$g(x)$在$x=\theta$处连续, 则$g(\hat\theta_n)$也是$g(\theta)$的相合估计.
\end{theorem}\end{ftheorem}
\begin{fproposition}\begin{proposition}
	参数的相合估计不唯一.
\end{proposition}\end{fproposition}
\begin{fproposition}\begin{proposition}
	矩估计一般具有相合性:
	\begin{enumerate}
		\item 样本均值是总体均值的相合估计.
		\item 样本标准差(resp. 方差)是总体标准差(resp.方差)的相合估计.
		\item 样本变异系数是总体变异系数的相合估计.($\operatorname{CV}=100\%\sigma/\mu$, $\operatorname{SCV}=100\%s/\bar x$)
	\end{enumerate}
\end{proposition}\end{fproposition}
\subsection{渐近正态性}
\begin{fdefinition}\begin{definition}
	参数$\theta$的相合估计$\hat\theta_n$称为\textbf{渐近正态}的, 若存在趋于$0$的非负常数序列$\sigma_n(\theta)$, 使得
	\begin{align*}
		\dfrac{\hat\theta_n-\theta}{\sigma_n(\theta)}\stackrel{\operatorname w}{\sim}\mathcal N(0,1)\iff \mathbb P\left\{\dfrac{\hat\theta_n-\theta}{\sigma_n(\theta)}\leqslant x\right\}\stackrel{\operatorname w}{\longrightarrow}\Phi(x),\quad(n\to\infty).
	\end{align*}
	也称$\hat\theta_n$服从渐近正态分布$\mathcal{AN}(\theta,\sigma_n^2(\theta))$, 记作$\hat\theta_n\sim\mathcal{AN}(\theta,\sigma_n^2(\theta))$, $\sigma_n^2(\theta)$ 称为$\hat\theta_n$的渐近方差.
\end{definition}\end{fdefinition}
\begin{fremark}\begin{rmk}
	上述定义中没有要求$\theta$为$\hat\theta_n$的均值, 也没有要求$\sigma_n^2(\theta)$为$\theta$的方差. 但在渐近分布中起着类似的作用. 
	
	对于一个渐近正态估计$\hat\theta_n$, 放样本容量$n$足够大, 可以用$\mathcal N(\theta,\sigma_n^2)$作为$\hat\theta_n$的近似分布, $\hat\theta_n$的渐近方差$\sigma_n^2$的大小标志着渐近正态估计$\hat\theta_n$的优劣.
\end{rmk}\end{fremark}
\begin{fproposition}\begin{proposition}
	一些性质
	\begin{enumerate}
		\item 渐近正态估计一定是相合估计.
		\item 最大似然估计具有渐近正态性.
		\item 矩估计都是相合估计, 且在一般情况下是渐近正态估计.
		\item 最大似然估计的渐近方差具有统一形式$\sigma_n^2(\theta)=[nI(\theta)]^{-1}$, 其中$I(\theta)$为$\theta$的Fisher信息量(会在后文中给出定义).
	\end{enumerate}
\end{proposition}\end{fproposition}

\begin{ftheorem}\begin{theorem}
	设总体$X$具有密度函数$p(x;\theta)$, $\theta\in\Theta$, $\Theta$为非退化区间, 假定
	\begin{enumerate}
		\item 对任意的$x$, 下述偏导数对所有$\theta\in\Theta$都存在.\begin{align*}
			\dfrac{\partial^k \ln p(x;\theta)}{\partial \theta^k},\quad k=1,2,3.
		\end{align*}
		\item 对任意的$\theta\in\Theta$, 有\begin{align*}
			\left|\dfrac{\partial^kp(x;\theta)}{\partial \theta^k}\right|<F_k(x),F_k\in\mathscr R(\mathbb R),\quad k=1,2,3.
		\end{align*}
		\item 对任意的$\theta\in\Theta$, 有\begin{align*}
			0<I(\theta)=\int_{-\infty}^{\infty}\left(\dfrac{\partial\ln p(x;\theta)}{\partial \theta}\right)^2p(x;\theta)\mathrm dx<\infty.
		\end{align*}
	\end{enumerate}
	若$x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim X$, 则存在未知参数$\theta$的MLE $\hat\theta_n=\hat\theta_n(x_1,\cdots,x_n)$, 且$\hat\theta_n$具有相合性和渐近正态性:\begin{align*}
		\hat\theta_n\stackrel{\cdot}{\sim}\mathcal N\left(\theta,\dfrac{1}{nI(\theta)}\right).
	\end{align*}
	其中$I(\theta)$称为$\theta$的Fisher信息量.
\end{theorem}\end{ftheorem}
\newpage
\section{均方误差}
无偏估计量与参数真值的偏差由有效性来度量, 有偏估计量则由均方误差来度量.
\begin{fdefinition}\begin{definition}[均方误差]
	设$\hat\theta=\hat\theta(x_1,\cdots,x_n)$ 是总体参数$\theta$的估计量, 则称
	\begin{align*}
		\operatorname{MSE}\left(\hat\theta\right)=\mathbb E\left[\left(\hat\theta-\theta\right)^2\right],\quad\theta\in\Theta.
	\end{align*}
	是总体参数$\theta$的\textbf{均方误差(Mean Squared Error)}.
\end{definition}\end{fdefinition}
均方误差是评价点估计的一般标准, 希望其越小越好.
\begin{fproposition}\begin{proposition}
	\begin{align*}
		\operatorname{MSE}\left(\hat\theta\right)=\operatorname{Var}\left(\hat\theta\right)+\left[\mathbb E\left(\hat\theta\right)-\theta\right]^2
	\end{align*}
	若$\hat\theta$是$\theta$的无偏估计, 则
	\begin{align*}
		\operatorname{MSE}\left(\hat\theta\right)=\operatorname{Var}\left(\hat\theta\right).
	\end{align*}
\end{proposition}\end{fproposition}

\begin{fproposition}\begin{proposition}
	在均方误差的汗一下有些有偏估计优于无偏估计.
\end{proposition}\end{fproposition}

\begin{fdefinition}\begin{definition}[一致最小均方误差估计]
	设有一个估计类, 称$\hat\theta^\star$是该估计类中的\textbf{一致最小均方误差估计}, 如果对该估计类中另外任意一个$\theta$的估计$\widetilde\theta$, 都有
	\begin{align*}
		\operatorname{MSE}\left(\hat\theta^\star\right)\leqslant\operatorname{MSE}\left(\widetilde\theta\right),\quad\forall \theta\in\Theta.
	\end{align*}
\end{definition}\end{fdefinition}
一致最小均方估计要在一个估计类里进行, 否则不存在这样的$\hat\theta^\star$.
\newpage
\section{一致最小方差无偏估计}
\begin{fdefinition}\begin{definition}[一致最小方差无偏估计]
	对参数估计问题, 设$\hat\theta$是$\theta$的一个无偏估计, 若对另外任意一个$\theta$的无偏估计$\widetilde\theta$, 在参数空间$\Theta$上都有
	\begin{align*}
		\operatorname{Var}_\theta\left(\hat\theta\right)\leqslant\operatorname{Var}_\theta\left(\widetilde\theta\right).
	\end{align*}
	则称$\hat\theta$是$\theta$的\textbf{一致最小方差无偏估计(Uniformly Minimum Variance Unbiased Estimation)}, 简记为\textbf{UMVUE}.
	
	如果UMVUE存在, 那么它一定是充分统计量的函数. 
\end{definition}\end{fdefinition}

\begin{ftheorem}\begin{theorem}\label{umvue}
	设$x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim X$, $\hat\theta=\hat\theta(x_1,\cdots,x_n)$是$\theta$的任一无偏估计, 且\begin{enumerate}
		\item $\operatorname{Var}\left(\hat\theta\right)<+\infty$.
		\item 满足$\mathbb E[\varphi(x_1,\cdots,x_n)]=0$ 的统计量 $\varphi$, 都有\begin{align*}
			\operatorname{Cov}_\theta\left(\hat\theta,\varphi\right)=0,\quad\forall\theta\in\Theta.
		\end{align*}
	\end{enumerate}
	那么$\hat\theta$是$\theta$的UMVUE. 反之亦然.
\end{theorem}\end{ftheorem}
\begin{fexample}\begin{example}
	设 \(x_1,x_2,\cdots,x_n\,\,\operatorname{i.i.d.}\sim \operatorname{Exp}(1/\theta)\), 则 \(T = x_1+\cdots + x_n\) 是 \(\theta\) 的充分统计量, 而 \(\bar{x}=T/n\) 是 \(\theta\) 的无偏估计. 现说明样本均值是参数 \(\theta\) 的UMVUE.

设 $\varphi=\varphi(x_1,x_2,\cdots,x_n)$ 是 $0$ 的任一无偏估计, 即 $\mathbb E(\varphi) = 0$,则
\begin{align*}
	\int_{\mathbb R_{\geqslant 0}^n}\varphi(x_1,\cdots,x_n)\cdot\mathrm e^{-(x_1+\cdots + x_n)/\theta}\mathrm d\bm x = 0, \quad\mathrm d\bm x=\mathrm dx_1\cdots\mathrm dx_n.
\end{align*}
两端对 $\theta$ 求导得
\begin{align*}
	\int_{\mathbb R_{\geqslant 0}^n}\dfrac{n\bar{x}}{\theta^{2}}\varphi(x_1,\cdots,x_n)\cdot\mathrm e^{-(x_1+\cdots + x_n)/\theta}\mathrm d\bm x= 0.
\end{align*}
这说明 $E\left(\bar{x}\cdot\varphi\right)=0$, 从而 $\operatorname{Cov}\left(\bar{x},\varphi\right)=\mathbb E\left(\bar{x}\cdot\varphi\right)-\mathbb E\left(\bar{x}\right)\cdot E(\varphi)=0$, 由定理\ref{umvue}, 它是 $\theta$ 的UMVUE.\qed

\end{example}\end{fexample}

\newpage
\section{充分性原则*}
\begin{ftheorem}\begin{theorem}[充分性原则]
	设$T(X)$是一个充分统计量, 而$\hat g(X)$是$g(\theta)$的一个无偏估计, 则存在可以表示为$T$的函数的$g(\theta)$的无偏估计$h(t(X))$, 使
	\begin{align*}
		\operatorname{Var}_\theta(h(T(X)))\leqslant\operatorname{Var}_\theta\left(\hat g(X)\right).
	\end{align*}
	等号当且仅当$\hat g(X)$能表示为$T(X)$的函数时才成立
\end{theorem}\end{ftheorem}
\begin{proof}
	\begin{align*}
		h(T(X))=\mathbb E\left[\left.\hat g(X)\right|T(X)\right].
	\end{align*}
\end{proof}
其说明了求$g(\theta)$的UMVUE, 只需在基于充分统计量$T(X)$的函数的无偏估计类中进行即可. 若充分统计量和UMVUE都存在, 则UMVUE一定可以表示为充分统计量的函数
\newpage
\section{Fisher信息量}
\subsection{Fisher信息量}
\begin{fdefinition}\begin{definition}[Fisher信息量]\label{fisher}
	设总体的概率密度函数$p(x;\theta)$, $\theta\in\Theta$满足:
	\begin{enumerate}
		\item 参数空间$\Theta$是直线上的一个开区间.
		\item 支撑集$S=\{x\colon p(x;\theta)>0\}$与$\theta$无关.
		\item 导数$\dfrac{\partial p(x;\theta)}{\partial \theta}$对一切$\theta\in\Theta$都存在.
		\item 对$p(x;\theta)$, 积分与微分运算可交换, 即\begin{align*}
			\dfrac{\partial}{\partial \theta}\int_{-\infty}^\infty p(x;\theta)\mathrm dx=\int_{-\infty}^\infty\dfrac{\partial}{\partial \theta} p(x;\theta)\mathrm dx.
		\end{align*}
		\item 期望$\mathbb E\left\{\left[\dfrac{\partial}{\partial \theta}\ln p(x;\theta)\right]^2\right\}$存在.
	\end{enumerate}
	那么称
		\begin{align*}
			I(\theta)=\mathbb E\left\{\left[\dfrac{\partial}{\partial \theta}\ln p(x;\theta)\right]^2\right\}=-\mathbb E\left[\dfrac{\partial^2}{\partial \theta^2}\ln p(x;\theta)\right]
		\end{align*}
		为总体的\textbf{Fisher信息量}.
\end{definition}\end{fdefinition}
\subsection{C-R不等式}
\begin{ftheorem}\begin{theorem}[Cramer-Rao不等式]
	设总体$X$分布满足定义\ref{fisher}的条件, $x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim X$, $T=T(x_1,\cdots,x_n)$为$g(\theta)$的任一个无偏估计, 有
	\begin{align*}
		g^\prime(\theta)=\dfrac{\partial g(\theta)}{\partial\theta}.
	\end{align*}
	存在, 且对任意的$\theta\in\Theta$, 对
	\begin{align*}
		g(\theta)=\int_{-\infty}^\infty\cdots\int_{-\infty}^\infty T(x_1,\cdots,x_n)\prod_{i=1}^np(x_i;\theta)\mathrm dx_1\cdots\mathrm dx_n
	\end{align*}
	的微商可在积分号下进行, 即
	\begin{align*}
		g^\prime(\theta)=&\int_{-\infty}^\infty\cdots\int_{-\infty}^\infty T(x_1,\cdots,x_n)\dfrac{\partial}{\partial \theta}\left[\prod_{i=1}^np(x_i;\theta)\right]\mathrm dx_1\cdots\mathrm dx_n\\
		=&\int_{-\infty}^\infty\cdots\int_{-\infty}^\infty T(x_1,\cdots,x_n)\left[\dfrac{\partial}{\partial \theta}\ln\prod_{i=1}^np(x_i;\theta)\right]\prod_{i=1}^np(x_i;\theta)\mathrm dx_1\cdots\mathrm dx_n.
	\end{align*}
	对离散总体, 则将上述积分改为求和号后, 等式依然成立. 则有
	\begin{align}\label{cr}
		\operatorname{Var}(T)\geqslant\dfrac{[g^\prime(\theta)]^2}{nI(\theta)}.
	\end{align}
	
	称\eqref{cr}为信息不等式,或 Cramer-Rao不等式(简记为C-R不等式).不等式的右端项称为参数函数$g(\theta)$的无偏估计$T(X)$的方差的C-R下界(简记为$g(\theta)$的C-R下界).
	
	特别的, 对$\theta$的无偏估计$\hat\theta$, 有$\operatorname{Var}\left(\hat\theta\right)\geqslant[nI(\theta)]^{-1}$.
	
	如果等号成立,即方差达到C-R下界, 那么称$T=T(x_1,\cdots,x_n)$为$g(\theta)$的\textbf{有效估计}.有效估计一定是UMVUE. 
\end{theorem}\end{ftheorem}
\begin{fproposition}\begin{proposition}
	UMVUE的性质:
	\begin{enumerate}
		\item UMVUE可能不唯一.
		\item UMVUE可能不存在.
		\item UMVUE不一定是最优的估计, 例如在MSE下, 有偏估计可能比无偏更优.
	\end{enumerate}
\end{proposition}\end{fproposition}
\chapter{(参数)区间估计}\label{qujianguji}
设有一个参数分布族 $\mathscr{F}=\{f(x,\theta),\theta\in\Theta\}$,其中 $\Theta$ 是参数空间. $\boldsymbol{X}=(x_1,\cdots,x_n)$ 为取自分布族中某总体 $f(x,\theta)$ 的样本, $g(\theta)$ 为定义在 $\Theta$ 上的一个已知函数,要利用样本 $\boldsymbol{X}$ 对 $g(\theta)$ 的值作出估计,就是参数估计问题. 参数估计有两类:点估计和区间估计. 关于点估计的问题已在第\ref{dgj}章中讨论过了. 在那里是用样本函数 $\hat{g}(\boldsymbol{X})$ 去估计 $g(\theta)$ 的,称为点估计. 这种估计的缺点是:单从 $\hat{g}(\boldsymbol{X})$ 所给出的估计值上,无法看出它的精度有多大. 当然可以定义某种指标,如估计的均方误差之类去刻画它的精度,但也还是间接的. 更直接的方法是指出一个误差限 $d(\boldsymbol{X})$,把估计写成 $\hat{g}(\boldsymbol{X})\pm d(\boldsymbol{X})$ 的形式. 在应用部门中常见到这种写法. 这实际上就是一种区间估计,即估计 $g(\theta)$ 的取值在区间 $[\hat{g}(\boldsymbol{X}) - d(\boldsymbol{X}),\hat{g}(\boldsymbol{X}) + d(\boldsymbol{X})]$ 之内. 将其一般化,给出区间估计的下列定义.

\begin{fdefinition}\begin{definition}[区间估计]
	设有一个参数分布族$\mathscr F=\{f(x;\theta),\theta\in\Theta\}$, $g(\theta)$是定义在参数空间$\Theta$上的一个已知函数, $x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim f(x;\theta)$. 令$\hat g_1(x_1,\cdots,x_n)$ 和 $\hat g_2(x_1,\cdots,x_n)$为定义在样本空间$\mathscr X$ 上, 取值在$\Theta$上的两个统计量, 且$$\hat g_1(x_1,\cdots,x_n)\leqslant\hat g_2(x_1,\cdots,x_n)$$ 则称随机区间$[\hat g_1(x_1,\cdots,x_n),\hat g_2(x_1,\cdots,x_n)]$为$g(\theta)$的一个\textbf{区间估计(interval estimation)}.
\end{definition}\end{fdefinition}
\newpage
\section{区间估计的基本概念}
\begin{fdefinition}\begin{definition}\label{zxqj}
	设$\theta$是总体的一个参数, 其参数空间为$\Theta$, $x_1,\cdots,x_n$是来自该总体的样本, 对给定的一个$\alpha$, $(0<\alpha<1)$, 若有统计量$\hat\theta_L=\hat\theta_L(x_1,\cdots,x_n)$ 和 $\hat\theta_U=\hat\theta_U(x_1,\cdots,x_n)$, 若对于$\forall \theta\in\Theta$, 有
	\begin{align*}
		\mathbb P_{\theta}\left(\hat\theta_L\leqslant\theta\leqslant\hat\theta_U\right)\geqslant1-\alpha.
	\end{align*}
	则称随机区间$\left[\hat\theta_L,\hat\theta_U\right]$为$\theta$的置信水平(置信度)为$1-\alpha$的置信区间, 或简称$\left[\hat\theta_L,\hat\theta_U\right]$为$\theta$的$1-\alpha$置信区间.
	
	$\hat\theta_L$和$\hat\theta_U$分别称为$\theta$的(双侧)置信下限和置信上限.
\end{definition}\end{fdefinition}
\begin{fremark}\begin{rmk}
	上述定义中理解为随机区间$\left[\hat\theta_L,\hat\theta_U\right]$至少以$1-\alpha$的概率包含这参数$\theta$的真值, 而不能说参数$\theta$以$1-\alpha$的概率落入随机区间$\left[\hat\theta_L,\hat\theta_U\right]$.
\end{rmk}\end{fremark}
\begin{fdefinition}\begin{definition}[同等置信区间]
	沿用定义\ref{zxqj}的记号, 若对给定的$\alpha$, 对任意的$\theta\in\Theta$, 有
	\begin{align*}
		\mathbb P_\theta\left(\hat\theta_L\leqslant\theta\leqslant\hat\theta_U\right)=1-\alpha.
	\end{align*}
	称$\left[\hat\theta_L,\hat\theta_U\right]$为$\theta$的$1-\alpha$\textbf{同等置信区间}.
\end{definition}\end{fdefinition}
\begin{fdefinition}\begin{definition}[单侧置信区间]\label{dczz}
	若对给定的$\alpha, (0<\alpha<1)$和任意的$\theta\in\Theta$, 有
	\begin{align*}
		&\mathbb P_\theta\left(\hat\theta_L\leqslant\theta\right)\geqslant1-\alpha.\\
		(\operatorname{resp.}\,\,&\mathbb P_\theta\left(\hat\theta_U\geqslant\theta\right)\geqslant1-\alpha.)
	\end{align*}
	则称$\hat\theta_L$ (resp.$\hat\theta_U$) 为$\theta$的置信水平为$1-\alpha$的\textbf{(单侧)置信下 (resp.上) 限}.若等号对一切$\theta\in\Theta$都成立, 则称$\hat\theta_L$ (resp.$\hat\theta_U$) 为$\theta$的$1-\alpha$同等置信下 (resp.上) 限.
\end{definition}\end{fdefinition}
\begin{fdefinition}\begin{definition}[枢轴量]
	样本函数$G=G(x_1,\cdots,x_n;\theta)$称为\textbf{枢轴量},若满足:
	\begin{enumerate}
		\item $G$包含待估参数$\theta$, 但除$\theta$外$G$不含其他未知参数.
		\item $G$的分布已知, 但与未知参数$\theta$无关.
	\end{enumerate} 
\end{definition}\end{fdefinition}
\begin{fremark}\begin{rmk}
	置信区间不唯一.
\end{rmk}\end{fremark}
\newpage
\section{枢轴变量法——单个正态总体参数的置信区间}
\subsection{均值的置信区间——总体方差已知}
设$x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim\mathcal N(\mu,\sigma^2)$, $\sigma^2$已知, 现估计参数$\mu$的$1-\alpha$置信区间:

选取$\mu$的点估计为$\bar x$, 构造
\begin{align*}
	G:=\dfrac{\bar x-\mu}{\sigma/\sqrt{n}}\sim \mathcal N(0,1).
\end{align*}
那么对给定的置信水平$1-\alpha$有
\begin{align*}
	\mathbb P\left\{|G|\leqslant y\right\}=\mathbb P\left\{\left|\dfrac{\bar x-\mu}{\sigma/\sqrt{n}}\right|\leqslant y\right\}=1-\alpha.
\end{align*}
若记标准正态分布$\alpha$分位数为$u_\alpha$, 则有
\begin{align*}
	\mathbb P\left\{-u_{1-\frac{\alpha}{2}}\leqslant\dfrac{\bar x-\mu}{\sigma/\sqrt{n}}\leqslant u_{1-\frac{\alpha}{2}}\right\}=1-\alpha.
\end{align*}
化简得
\begin{align*}
	\mathbb P\left\{\bar x-u_{1-\frac{\alpha}{2}}\dfrac{\sigma}{\sqrt{n}}\leqslant\mu\leqslant\bar x+u_{1-\frac{\alpha}{2}}\dfrac{\sigma}{\sqrt{n}}\right\}=1-\alpha.
\end{align*}
从而未知参数$\mu$的一个$1-\alpha$置信区间为
\begin{align*}
	\left[\bar x-u_{1-\frac{\alpha}{2}}\dfrac{\sigma}{\sqrt{n}},\bar x+u_{1-\frac{\alpha}{2}}\dfrac{\sigma}{\sqrt{n}}\right]
\end{align*}

置信区间通常写成$\displaystyle
\bar x\pm u_{1-\frac{\alpha}{2}}\dfrac{\sigma}{\sqrt{n}}
$,
其置信区间长度为$\displaystyle
2\cdot u_{1-\frac{\alpha}{2}}\dfrac{\sigma}{\sqrt{n}}
$.
\subsection{均值的置信区间——总体方差未知}
设$x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim\mathcal N(\mu,\sigma^2)$. 用$\bar x$对$\mu$作为点估计, 并用$s$代替$\sigma$, 故枢轴量选为
\begin{align*}
	t=\dfrac{\bar x-\mu}{s/\sqrt{n}}\sim t(n-1).
\end{align*}
对与给定置信水平$1-\alpha$, 有
\begin{align*}
	\mathbb P\left\{\left|\dfrac{\bar x-\mu}{s/\sqrt{n}}\right|\leqslant t_{1-\frac{\alpha}{2}}(n-1)\right\}=1-\alpha
\\ \iff\mathbb P\left\{\bar x-\dfrac{s}{\sqrt{n}}t_{1-\frac{\alpha}{2}}(n-1)\leqslant\mu\leqslant\bar x+\dfrac{s}{\sqrt{n}}t_{1-\frac{\alpha}{2}}(n-1)\right\}=1-\alpha.
\end{align*}
故得到$\mu$的$1-\alpha$置信区间为
\begin{align*}
	\left[\bar x-\dfrac{s}{\sqrt{n}}t_{1-\frac{\alpha}{2}}(n-1),\bar x+\dfrac{s}{\sqrt{n}}t_{1-\frac{\alpha}{2}}(n-1)\right]
\end{align*}
\subsection{方差的置信区间——总体均值已知}
枢轴量:
\begin{align*}
	\dfrac{1}{\sigma^2}\sum_{i=1}^n\left(x_i-\mu\right)^2\sim\chi^2(n).
\end{align*}
$\sigma^2$的$1-\alpha$置信区间:
\begin{align*}
	\left[\dfrac{\sum\limits_{i=1}^n(x_i-\mu)^2}{\chi^2_{1-\frac{\alpha}{2}}(n)},\dfrac{\sum\limits_{i=1}^n(x_i-\mu)^2}{\chi^2_{\frac{\alpha}{2}}(n)}\right]
\end{align*}
\subsection{方差的置信区间——总体均值未知}
枢轴量:
\begin{align*}
	\dfrac{1}{\sigma^2}\sum_{i=1}^n\left(x_i-\bar x\right)^2\sim\chi^2(n-1).
\end{align*}
$\sigma^2$的$1-\alpha$置信区间:
\begin{align*}
	\left[\dfrac{\sum\limits_{i=1}^n(x_i-\bar x)^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)},\dfrac{\sum\limits_{i=1}^n(x_i-\bar x)^2}{\chi^2_{\frac{\alpha}{2}}(n-1)}\right]
\end{align*}
\subsection{方差的置信区间——利用$s^2$误差估计$\sigma^2$}
枢轴量:
\begin{align*}
	\chi^2=\dfrac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1).
\end{align*}
$\sigma^2$的$1-\alpha$置信区间:
\begin{align*}
	\left[\dfrac{(n-1)s^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)},\dfrac{(n-1)s^2}{\chi^2_{\frac{\alpha}{2}}(n-1)}\right]
\end{align*}
\subsection{(概率)参数$p$的置信区间——总体为$b(1,p)$}
利用中心极限定理, 有
\begin{align*}
	\bar x\sim \mathcal {AN}\left(p,\dfrac{p(1-p)}{n}\right).
\end{align*}
枢轴量:
\begin{align*}
	u=\dfrac{\bar x-p}{\sqrt{p(1-p)/n}}\stackrel{\cdot}{\sim}\mathcal N(0,1).
\end{align*}
解得精准的$1-\alpha$置信区间:
\begin{align*}
	\left[\dfrac{1}{1+\dfrac{\lambda}{n}}\left(\bar x+\dfrac{\lambda}{2n}-\sqrt{\dfrac{\bar x(1-\bar x)\lambda}{n}+\dfrac{\lambda^2}{4n^2}}\right),\dfrac{1}{1+\dfrac{\lambda}{n}}\left(\bar x+\dfrac{\lambda}{2n}+\sqrt{\dfrac{\bar x(1-\bar x)\lambda}{n}+\dfrac{\lambda^2}{4n^2}}\right)\right]
\end{align*}
其中
\begin{align*}
	\lambda:=u^2_{1-\frac{\alpha}{2}}.
\end{align*}
由于在大样本下 $0<\lambda/n<<1$.因此置信区间近似为
\begin{align*}
	\left[\bar x-u_{1-\frac{\alpha}{2}}\sqrt{\dfrac{\bar x(1-\bar x)}{n}},\bar x+u_{1-\frac{\alpha}{2}}\sqrt{\dfrac{\bar x(1-\bar x)}{n}}\right]
\end{align*}
\newpage
\section{枢轴变量法——双个正态总体参数的置信区间}
\subsection{两个均值差的置信区间——两个总体方差已知}
枢轴量:
\begin{align*}
	\dfrac{(\bar x-\bar y)-(\mu_1-\mu_2)}{\sqrt{\dfrac{\sigma^2_1}{n_1}+\dfrac{\sigma^2_2}{n_2}}}\sim\mathcal N(0,1).
\end{align*}
$1-\alpha$置信区间:
\begin{align*}
	(\bar x-\bar y)\pm u_{1-\frac{\alpha}{2}}\sqrt{\dfrac{\sigma_1^2}{n_1}+\dfrac{\sigma^2_2}{n_2}}.
\end{align*}
\subsection{两个均值差的置信区间——两个总体方差未知}
\subsubsection{$\sigma_1^2=\sigma^2_2=\sigma^2$, $\sigma^2$未知}
枢轴量:
\begin{align*}
	\dfrac{(\bar x-\bar y)-(\mu_1-\mu_2)}{s_w\sqrt{\dfrac{1}{n_1}+\dfrac{1}{n_2}}}\sim t(n_1+n_2-2),\quad s_w^2=\dfrac{(n_1-1)s_1^2+(n_2-1)s^2_2}{n_1+n_2-2}.
\end{align*}
$1-\alpha$置信区间:
\begin{align*}
	(\bar x-\bar y)\pm t_{1-\frac{\alpha}{2}}(n_1+n_2-2)s_w\cdot\sqrt{\dfrac{1}{n_1}+\dfrac{1}{n_2}}.
\end{align*}
\subsubsection{$\sigma_2^2/\sigma_1^2=c$, $c$已知}
我们直接给出$1-\alpha$置信区间:
\begin{align*}
	(\bar x-\bar y)\pm s_t\cdot t_{1-\frac{\alpha}{2}}(n_1+n_2-2)\sqrt{\dfrac{cn_1+n_2}{n_1n_2}},\quad s_t^2=\dfrac{(n_1-1)s_1^2+(n_2-1)s_2^2/c}{n_1+n_2-2}.
\end{align*}
\subsubsection{$\sigma_1^2,\sigma_2^2$未知, $n_1,n_2$也不是很大}
这是著名的 Behrens-Fisher 问题. 这里给出一种近似方法:
令$s_0^2=s_1^2/s_2^2$. 枢轴量:
\begin{align*}
	T=\dfrac{(\bar x-\bar y)-(\mu_1-\mu_2)}{s_0}\stackrel{\cdot}{\sim}t(l)
\end{align*}
其中$l$由下式确定, 取最近整数:
\begin{align*}
	l=\dfrac{s_0^4}{\dfrac{s_1^4}{n_1^2(n_1-1)}+\dfrac{s_2^4}{n_2^2(n_2-2)}}.
\end{align*}
则得到$1-\alpha$近似置信区间:
\begin{align*}
	(\bar x-\bar y)\pm s_0t_{1-\frac{\alpha}{2}}(l).
\end{align*}
\subsection{两个方差比的置信区间——两个总体均值未知}
枢轴量:
\begin{align*}
	\dfrac{s_1^2/\sigma_1^2}{s_2^2/\sigma_2^2}\sim F(n_1-1,n_2-1)
\end{align*}
$1-\alpha$置信区间:
\begin{align*}
	\left[\dfrac{1}{F_{1-\frac{\alpha}{2}}(n_1-1,n_2-1)}\cdot\dfrac{s_1^2}{s_2^2},\dfrac{1}{F_{\frac{\alpha}{2}}(n_1-1,n_2-1)}\cdot\dfrac{s_1^2}{s_2^2}\right]
\end{align*}
\subsection{两个方差比的置信区间——两个总体均值已知}
枢轴量:
\begin{align*}
	\dfrac{\left.n_2\sum\limits_{i=1}^{n_1}(x_i-\mu_1)^2\right/\sigma^2_1}{\left.n_1\sum\limits_{i=1}^{n_2}(x_i-\mu_2)^2\right/\sigma^2_2}\sim F(n_1,n_2).
\end{align*}
$1-\alpha$置信区间:
\begin{align*}
	\left[\dfrac{1}{F_{1-\frac{\alpha}{2}}(n_1,n_2)}\cdot\dfrac{n_2\sum\limits_{i=1}^{n_1}(x_i-\mu_1)^2}{n_1\sum\limits_{i=1}^{n_2}(x_i-\mu_2)^2},\dfrac{1}{F_{\frac{\alpha}{2}}(n_1,n_2)}\cdot\dfrac{n_2\sum\limits_{i=1}^{n_1}(x_i-\mu_1)^2}{n_1\sum\limits_{i=1}^{n_2}(x_i-\mu_2)^2}\right]
\end{align*}
\newpage
\section{单侧置信区间}
定义已经在\ref{dczz}给出.下直接给出一些常见的单个(resp.双个)正态总体下参数的单侧$1-\alpha$置信区间.
\subsection{单个正态总体}
\subsubsection{待估参数$\mu$, $\sigma^2$已知}
\begin{center}
	$\displaystyle\overline{\mu}=\bar x+u_{1-\alpha}\dfrac{\sigma}{\sqrt{n}},\quad \underline{\mu}=\bar x-u_{1-\alpha}\dfrac{\sigma}{\sqrt{n}}.$
\end{center}
\subsubsection{待估参数$\mu$, $\sigma^2$未知}
\begin{center}
	$\displaystyle \overline \mu=\bar x+t_{1-\alpha}(n-1)\dfrac{s}{\sqrt{n}},\quad\underline\mu =\bar x-t_{1-\alpha}(n-1)\dfrac{s}{\sqrt{n}}.$
\end{center}
\subsubsection{待估参数$\sigma^2$, $\mu$未知}
\begin{center}
	$\displaystyle \overline{\sigma^2}=\dfrac{(n-1)s^2}{\chi^2_{\alpha}(n-1)},\quad\underline{\sigma^2}=\dfrac{(n-1)s^2}{\chi^2_{1-\alpha}(n-1)}.$
\end{center}
\subsection{双个正态总体}
\subsubsection{待估参数$\mu_1-\mu_2$, $\sigma_1^2,\sigma_2^2$已知}
\begin{center}
	$\displaystyle \overline{\mu_1-\mu_2}=(\bar x-\bar y)+u_{1-\alpha}\sqrt{\dfrac{\sigma^2_1}{n_1}+\dfrac{\sigma^2_2}{n_2}},\quad\underline{\mu_1-\mu_2}=(\bar x-\bar y)-u_{1-\alpha}\sqrt{\dfrac{\sigma^2_1}{n_1}+\dfrac{\sigma^2_2}{n_2}}.$
\end{center}
\subsubsection{待估参数$\mu_1-\mu_2$, $\sigma_1^2=\sigma^2_2=\sigma^2$未知}
\begin{center}
	$\displaystyle \overline{\mu_1-\mu_2}=(\bar x-\bar y)+t_{1-\alpha}(n_1+n_2-2)s_w\sqrt{\dfrac{1}{n_1}+\dfrac{1}{n_2}},$\\
	$\displaystyle\underline{\mu_1-\mu_2}=(\bar x-\bar y)-t_{1-\alpha}(n_1+n_2-2)s_w\sqrt{\dfrac{1}{n_1}+\dfrac{1}{n_2}}.$
\end{center}
\subsubsection{待估参数$\sigma^2_1/\sigma^2_2$, $\mu_1,\mu_2$未知}
\begin{center}
	$\displaystyle \overline{\left(\dfrac{\sigma^2_1}{\sigma^2_2}\right)}=\dfrac{s^2_1/s^2_2}{F_{\alpha}(n_1-1,n_2-1)},\quad\underline{\left(\dfrac{\sigma^2_1}{\sigma^2_2}\right)}=\dfrac{s^2_1/s^2_2}{F_{1-\alpha}(n_1-1,n_2-1)}.$
\end{center}
\chapter{参数与非参数假设检验}\label{csjsjy}
参数估计和假设检验是统计推断的两个主要形式. 关于参数的点估计和区间估计的问题已在第\ref{dgj}、\ref{qujianguji}章中讨论. 本章讨论假设检验问题, 假设检验问题大致分为两类:
\begin{enumerate}
	\item 参数假设检验: 即总体分布已知, 总体分布依赖于未知参数(或参数向量)$\theta$, 要检验的是关于未知参数的假设. 例如总体$X\sim\mathcal N(a,\sigma^2)$, $a$未知, 检验\begin{align*}
		H_0\colon a=a_0\leftrightarrow H_1\colon a\neq a_0\quad\text{或}\quad H_0\colon a\leqslant a_0\leftrightarrow H_1\colon a>a_0.
	\end{align*}
	\item 非参数假设检验: 总体分布形式未知, 此时就需要有一种与总体分布族的具体数学形式无关的统计方法, 称为非参数假设检验. 例如检验一批数据是否来自某个已知的总体, 这就属于这类问题.
\end{enumerate}

\newpage
\section{假设检验的若干基本概念}
\subsection{检验问题的提法}
为了说明假设检验问题的提法. 给出一个例子
\begin{fexample}\begin{example}
	某工厂生产的一大批产品, 要卖给商店. 按规定次品率$p$不得超过$0.01$, 今在其中抽取$100$件, 经检验有$3$件次品, 问这批产品可否出厂?
	
	关于这个问题, 有两个可能性:
	\begin{align*}
		\text{甲}\colon 0<p\leqslant 0.01;\quad\text{乙}\colon 0.01<p<1.
	\end{align*}
	要通过这批产品中抽样来决定甲, 乙两种可能性中哪个成立.
	
	这个问题通常以下述方式提出:引入一个``假设''
	\begin{align*}
		H_0\colon 0<p\leqslant 0.01,
	\end{align*}
	它称为\textbf{零假设(null hypothesis)}或\textbf{原假设}, 有时也简称假设.另一个可能是
	\begin{align*}
		H_1\colon0.01<p<1,
	\end{align*}
	称为\textbf{对立假设}或\textbf{备择假设(alternative hypothesis)}.
	
	目的是要通过样本决定接受$H_0$, 还是拒绝$H_0$. 可以形象地把问题写成
	\begin{align*}
		H_0\colon 0<p\leqslant 0.01\leftrightarrow H_1\colon0.01<p<1.
	\end{align*}
	
	注意这个提法中将$H_0$放在中心位置, 它是检验的对象.\textbf{$H_0$和$H_1$的位置不可颠倒}.
\end{example}\end{fexample}
\begin{fdefinition}\begin{definition}
	设有参数分布族$\{f(x,\theta),\theta\in\Theta\}$. $X_1,\cdots,X_n$为从上述分布族中抽取的简单随机样本. 
	
	在参数假设检验问题中, 感兴趣的是$\theta$是否属于$\Theta$的某个非空真子集$\Theta_0$, 则命题$H_0\colon \theta\in\Theta_0$称为\textbf{原假设}或\textbf{零假设}, 其确切含义是: 存在一个$\theta_0\in\Theta_0$使得$X$的分布为$f(x,\theta_0)$.
	
	记$\Theta_1=\Theta\setminus\Theta_0$, 则命题$H_1\colon \theta\in\Theta_1$称为$H_0$的\textbf{对立假设}或\textbf{备择假设}, 则假设检验问题表述为
	\begin{align}\label{jsjjwt}
		H_0\colon \theta\in\Theta_0\leftrightarrow H_1\colon \theta\in\Theta_1.
	\end{align}
	
	在\eqref{jsjjwt}中, 若$\Theta_0$或$\Theta_1$只包含参数空间$\Theta$中的一个点, 则称为\textbf{简单假设(simple hypothesis)}; 否则, 称为\textbf{复合假设(composite hypothesis)}.
\end{definition}\end{fdefinition}
\subsection{否定域, 检验函数和检验统计量}
仍通过例子来说明这些概念.
\begin{fexample}\begin{example}
	设$X=(X_1,\cdots,X_n)$为从正态总体$\mathcal N(a,\sigma^2)$中抽取的随机样本, 其中$\sigma^2$已知. 考虑检验问题
	\begin{align*}
		H_0\colon a=a_0\leftrightarrow H_1\colon a\neq a_0.
	\end{align*}
	此处$a_0$为给定的常数.
	
	这种检验的一种直观作法是: 先求$a$的一个估计量, 可以知道$\bar X$是$a$的一个优良估计(无偏, 有效, 一致). 若$|\bar X-a_0|$较大, 就倾向于否定$H_0$; 反之, 若$|\bar X-a_0|$较小, 就认为抽样结果与$H_0$相接近, 因而倾向于接受$H_0$. 
	
	具体的说, 要确定一个数$A$, 由$X_1,\cdots,X_n$算出样本均值$\bar X$, 当$|\bar X-a_0|>A$时就否定$H_0$; 当$|\bar X-a_0|\leqslant A$时就接受$H_0$. 称
	\begin{align*}
		D=\{\bm X=(X_1,\cdots,X_n)\colon |\bar X-a_0|>A\}
	\end{align*}
	为\textbf{否定域}或\textbf{拒绝域(reject region)}, 即否定域是由样本空间$\mathscr X$中一切使得$|\bar X-a_0|>A$的那些样本$\bm X=(X_1,\cdots,X_n)$构成.
	
	有了否定域, 等价于将样本空间$\mathscr X$分成不相交的两部分$D$和$\overline D=\mathscr X\setminus D$. 一旦有了样本$\bm X$, 当$\bm X\in D$时, 就否定$H_0$; 当$\bm X\in \overline D$时, 就接受$H_0$. 称$\overline D$为\textbf{接受域(acceptance region)}. 因此, 此问题中的检验可视为如下一种法则:
	\begin{align*}
		T\colon\begin{cases}
			\text{当 $|\bar X-a_0|>A$ 时},&\text{拒绝 $H_0$},\\
			\text{当$|\bar X-a_0|\leqslant A$时},&\text{接受 $H_0$}.
		\end{cases}
	\end{align*}
	为了便于数学处理, 应如检验函数$\varphi(\bm x)$的概念, $\varphi(\bm x)$是与检验$T$一一对应的, 在本例中
	\begin{align}\label{jy2}
		\varphi(\bm x)=\begin{cases}
			1,&\text{当$|\bar {x}-a_0|>A$},\\
			0,&\text{当$|\bar {x}-a_0|\leqslant A$}.
		\end{cases}
	\end{align} 
\end{example}\end{fexample}
\begin{fdefinition}\begin{definition}[检验函数]
	由\eqref{jy2}给出的\textbf{检验函数}$\varphi(\bm x)$是定义在\textbf{样本空间}$\mathscr X$上, 取值于$[0,1]$上的函数. 他表示当有了样本$\bm X$后, 否定$H_0$的概率. 若只取$0$, $1$两个值, 则称这种检验为\textbf{非随机化检验(non-randomized test)}; 反之称为\textbf{随机化检验(randomized test)}.
\end{definition}\end{fdefinition}

\subsection{两类错误与势函数}
统计推断是以样本为依据的, 由于样本的随机性, 不能保证统计推断方法的绝对正确, 而只能以一定的概率去保证这种推断的可靠性. 在假设检验问题中可能出现下列两种情形会犯错误:
\begin{enumerate}
	\item 零假设$H_0$本来是对的, 由于样本的随机性, 观察值落入否定域$D$, 错误地将$H_0$否定了, 称为弃真. 这时犯的错误称为\textbf{第一类错误(type I error)}.
	\item 零假设$H_0$本来不对, 由于样本的随机性, 观察值落入接受域$\overline D$, 错误地将$H_0$接受了, 称为取伪. 这时犯的错误称为\textbf{第二类错误(type II error)}.
\end{enumerate}

应当注意, 在每一具体场合, 只会犯两类错误中的一个. 当检验确定后, 犯两类错误的概率也就确定了. 那么自然思考一个问题: 怎么取计算犯两类错误的概率?
\begin{fdefinition}\begin{definition}[势函数]
	设$\varphi(\bm x)$是$H_0\colon\theta\in\Theta_0\leftrightarrow H_1\colon\theta\in\Theta_1$的一个检验函数, 则
	\begin{align*}
		g_\varphi(\theta)=\mathbb P_\theta\left\{\text{用检验$\varphi$否定了$H_0$}\right\}=\mathbb E_\theta[\varphi(\bm X)],\quad\theta\in\Theta.
	\end{align*}
	称为$\varphi$的\textbf{功效函数(power function)}, 也称为\textbf{势函数}或\textbf{效函数}.
\end{definition}\end{fdefinition}

在样本容量$n$一定时, 若减少犯第一类错误的概率$\alpha$, 则犯第二类错误的概率$\beta$往往会增大. 若要使犯两类错误的概率都减少, 除非增加样本容量.
\subsection{显著性检验}
\begin{fdefinition}\begin{definition}[显著性检验]
	支队犯第一类错误的概率加以控制, 而不考虑犯第二类错误的检验问题, 称为\textbf{显著性检验问题}.
	
	\textbf{显著性水平}指犯第一类错误的概率.
\end{definition}\end{fdefinition}

\begin{fdefinition}\begin{definition}[假设检验的三种形式]
分为双侧检验和单侧检验, 左侧检验、右侧检验统称单侧检验.

	双侧检验 $H_0\colon \theta=\theta_0\leftrightarrow H_1\colon\theta\neq\theta_0$.
	
	左侧检验 $H_0\colon \theta\geqslant\theta_0\leftrightarrow H_1\colon\theta<\theta_0$.
	
	右侧检验 $H_0\colon \theta\leqslant\theta_0\leftrightarrow H_1\colon\theta>\theta_0$.
\end{definition}\end{fdefinition}

\begin{fproposition}\begin{proposition}[单侧检验的拒绝域]
	总体$X\sim\mathcal N(\mu,\sigma^2)$, 其中$\mu$为未知参数, $\sigma^2$已知. $x_1,\cdots,x^n$为来自总体的简单样本, 给定显著性水平$\alpha$, 则
	\begin{align*}
		\text{右侧检验的拒绝域为}\,u=&\dfrac{\bar x-\mu_0}{\sigma/\sqrt{n}}\geqslant u_{1-\alpha},\\
		\text{左侧检验的拒绝域为}\,u=&\dfrac{\bar x-\mu_0}{\sigma/\sqrt{n}}\leqslant u_{\alpha}.
	\end{align*}
\end{proposition}\end{fproposition}

\begin{fdefinition}\begin{definition}[检验的$p$值]
	在一个假设检验问题中, 利用样本观测值能够作出拒绝原假设的最小显著性水平称为\textbf{检验的$p$值}.(检验的$p$值是一个概率; 称为观察到的显著性水平(observed level of significance); 原假设$H_0$能被拒绝的最小显著性水平.
\end{definition}\end{fdefinition}

\newpage
\section{正态总体参数的假设检验}
\subsection{总体均值的检验}
\subsubsection{单个正态总体均值$\mu$的检验:}
\begin{enumerate}
	\item\label{ztjzjy1} $H_0\colon \mu=\mu_0\leftrightarrow H_1\colon \mu\neq \mu_0$,
	\item\label{ztjzjy2} $H_0\colon \mu\leqslant\mu_0\leftrightarrow H_1\colon \mu> \mu_0$,
	\item\label{ztjzjy3} $H_0\colon \mu\geqslant\mu_0\leftrightarrow H_1\colon \mu< \mu_0$.
\end{enumerate}
\subsubsection{参数$\sigma^2$已知时的$u$检验}
检验统计量:$u=\dfrac{\bar x-\mu_0}{\sigma/\sqrt{n}}\sim\mathcal N(0,1)$.

检验\ref{ztjzjy1}的拒绝域: $|u|\geqslant u_{1-\frac{\alpha}{2}}$,

检验\ref{ztjzjy2}的拒绝域: $u\geqslant u_{1-\alpha}$,

检验\ref{ztjzjy3}的拒绝域: $u\leqslant -u_{1-\alpha}=u_\alpha$.
\subsubsection{参数$\sigma^2$未知时的$t$检验, 小样本($n<30$)}
检验统计量:$t=\dfrac{\bar x-\mu_0}{s/\sqrt{n}}\sim t(n-1)$.

检验\ref{ztjzjy1}的拒绝域: $|t|\geqslant t_{1-\frac{\alpha}{2}}(n-1)$,

检验\ref{ztjzjy2}的拒绝域: $t\geqslant t_{1-\alpha}(n-1)$,

检验\ref{ztjzjy3}的拒绝域: $t\leqslant -t_{1-\alpha}(n-1)$.
\subsubsection{参数$\sigma^2$未知时的$t$检验, 大样本}
检验统计量:$u=\dfrac{\bar x-\mu_0}{s/\sqrt{n}}\sim \mathcal N(0,1)$.

检验\ref{ztjzjy1}的拒绝域: $|u|\geqslant u_{1-\frac{\alpha}{2}}$,

检验\ref{ztjzjy2}的拒绝域: $u\geqslant u_{1-\alpha}$,

检验\ref{ztjzjy3}的拒绝域: $u\leqslant -u_{1-\alpha}=u_\alpha$.

\subsubsection{两个正态总体均值$\mu_1$, $\mu_2$的检验:}
\begin{enumerate}
	\item\label{zt2jzjy1} $H_0\colon \mu_1=\mu_2\leftrightarrow H_1\colon \mu_1\neq \mu_2$,
	\item\label{zt2jzjy2} $H_0\colon \mu_1\leqslant\mu_2\leftrightarrow H_1\colon \mu_1> \mu_2$,
	\item\label{zt2jzjy3} $H_0\colon \mu_1\geqslant\mu_2\leftrightarrow H_1\colon \mu_1< \mu_2$.
\end{enumerate}

\subsubsection{参数$\sigma_1^2$, $\sigma_2^2$已知时两样本$u$检验}
检验统计量: $u=\dfrac{\bar x-\bar y}{\sqrt{\sigma^2_1/n_1+\sigma^2_2/n_2}}\sim\mathcal N(0,1)$

检验\ref{zt2jzjy1}的拒绝域: $|u|\geqslant u_{1-\frac{\alpha}{2}}$,

检验\ref{zt2jzjy2}的拒绝域: $u\geqslant u_{1-\alpha}$,

检验\ref{zt2jzjy3}的拒绝域: $u\leqslant -u_{1-\alpha}=u_\alpha$.

\subsubsection{参数$\sigma^2_1=\sigma^2_2$未知时的两样本的$t$检验, 小样本}
检验统计量:
\begin{align*}
	t=\dfrac{\bar x-\bar y}{s_w\sqrt{1/n_1+1/n_2}}\sim t(n_1+n_2-2),\quad s_w^2=\dfrac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}
\end{align*}

检验\ref{ztjzjy1}的拒绝域: $|t|\geqslant t_{1-\frac{\alpha}{2}}(n_1+n_2-2)$,

检验\ref{ztjzjy2}的拒绝域: $t\geqslant t_{1-\alpha}(n_1+n_2-2)$,

检验\ref{ztjzjy3}的拒绝域: $t\leqslant -t_{1-\alpha}(n_1+n_2-2)$.

\subsubsection{参数$\sigma_1^2$, $\sigma_2^2$未知, 大样本$u$检验}
检验统计量: $u=\dfrac{\bar x-\bar y}{\sqrt{s^2_x/n_1+s^2_y/n_2}}\sim \mathcal N(0,1)$, $n_1$, $n_2$充分大.

检验\ref{zt2jzjy1}的拒绝域: $|u|\geqslant u_{1-\frac{\alpha}{2}}$,

检验\ref{zt2jzjy2}的拒绝域: $u\geqslant u_{1-\alpha}$,

检验\ref{zt2jzjy3}的拒绝域: $u\leqslant -u_{1-\alpha}=u_\alpha$.

\subsubsection{参数$\sigma_1^2$, $\sigma_2^2$未知, 小样本近似$t$检验}
检验统计量: $t=\dfrac{\bar x-\bar y}{\sqrt{s^2_x/n_1+s^2_y/n_2}}\sim t(l)$

其中$s_0^2=\dfrac{s_x^2}{n_1}+\dfrac{s_y^2}{n_2}$, $l$为接近$\dfrac{s_0^4}{s_x^4n_1^{-2}/(n_1-1)+s_y^4n_2^{-2}/(n_2-1)}$的整数.

检验\ref{ztjzjy1}的拒绝域: $|t|\geqslant t_{1-\frac{\alpha}{2}}(l)$,

检验\ref{ztjzjy2}的拒绝域: $t\geqslant t_{1-\alpha}(l)$,

检验\ref{ztjzjy3}的拒绝域: $t\leqslant -t_{1-\alpha}(l)$.
\subsection{总体方差的检验}
\subsubsection{单个正态总体方差$\sigma^2$的检验}
\begin{enumerate}
	\item\label{s11} $H_0\colon \sigma^2=\sigma_0^2\leftrightarrow H_1\colon \sigma^2\neq\sigma_0^2$,
	\item\label{s12} $H_0\colon \sigma^2\leqslant\sigma_0^2\leftrightarrow H_1\colon \sigma^2>\sigma_0^2$,
	\item\label{s13} $H_0\colon \sigma^2\geqslant\sigma_0^2\leftrightarrow H_1\colon \sigma^2<\sigma_0^2$.
\end{enumerate}
在总体均值$\mu$未知, 总体方差$\sigma^2$的假设检验: $\chi^2$检验法.

检验统计量: $\chi^2=\dfrac{(n-1)s^2}{\sigma_0^2}\sim\chi^2(n-1)$.

检验\ref{s11}的拒绝域:$\chi^2\leqslant \chi^2_{\frac{\alpha}{2}}(n-1)$或$\chi^2\geqslant\chi^2_{1-\frac{\alpha}{2}}(n-1)$,

检验\ref{s12}的拒绝域:$\chi^2\geqslant \chi^2_{1-\alpha}(n-1)$,

检验\ref{s13}的拒绝域:$\chi^2\leqslant\chi^2_\alpha(n-1)$.
\subsubsection{两个正态总体方差的检验}
\begin{enumerate}
	\item\label{s21} $H_0\colon \sigma_1^2=\sigma_2^2\leftrightarrow H_1\colon \sigma_1^2\neq\sigma_2^2$,
	\item\label{s22} $H_0\colon \sigma_1^2\leqslant\sigma_2^2\leftrightarrow H_1\colon \sigma_1^2>\sigma_2^2$,
	\item\label{s23} $H_0\colon \sigma_1^2\geqslant\sigma_2^2\leftrightarrow H_1\colon \sigma_1^2<\sigma_2^2$.
\end{enumerate}
在总体均值$\mu_1,\mu_2$未知, 总体方差的假设检验: F检验法

检验统计量: $F=s_1^2/s_2^2\sim F(n_1-1,n_2-1)$

检验\ref{s21}的拒绝域:$F\leqslant F_{\frac{\alpha}{2}}(n_1-1,n_2-1)$或$F\geqslant F_{1-\frac{\alpha}{2}}(n_1-1,n_2-1)$,

检验\ref{s22}的拒绝域:$F\geqslant F_{1-\alpha}(n_1-1,n_2-1)$,

检验\ref{s23}的拒绝域:$F\leqslant F_{\alpha}(n_1-1,n_2-1)$.
\subsection{成对数据的检验}
一般, 设有$n$对相互独立的观察结果:$\{(x_i,y_i)\}_{i=1}^n$, 令$d_i=x_i-y_i$, 则$d_1,\cdots,d_n$独立同分布, 在正态假定下,
\begin{align*}
	d_1,\cdots,d_n\,\,\operatorname{i.i.d.}\sim\mathcal N(\mu,\sigma_d^2)
\end{align*}
其中$\mu,\sigma_d^2$未知.那么检验两组数据是否有显著差异转化为方差未知时正态总体的均值假设检验. 考虑下面三个检验问题:
\begin{enumerate}
	\item $H_0\colon \mu=0\leftrightarrow H_1\colon\mu\neq 0$,
	\item $H_0\colon \mu\leqslant 0\leftrightarrow H_1\colon\mu> 0$,
	\item $H_0\colon \mu\geqslant 0\leftrightarrow H_1\colon\mu< 0$.
\end{enumerate}
检验统计量选为:$t=\dfrac{\bar d}{s_d/\sqrt{n}}\sim t(n-1)$.
\subsection{假设检验与置信区间的关系}
假设检验问题与置信区间是一一对应的.

参数估计是根据样本统计量估计总体参数的真值.

假设检验是根据样本统计量来检验对总体参数的先验假设是否成立.
\subsection{关于假设检验拒绝域的说明}
我们说下面这两种的拒绝域是一样的.
\begin{itemize}
	\item $H_0\colon \mu=\mu_0\leftrightarrow H_1\colon \mu>\mu_0$
	\item $H_0\colon \mu\leqslant\mu_0\leftrightarrow H_1\colon \mu>\mu_0$
\end{itemize}
类似有其他类型上的等价.

\newpage
\section{其他分布参数的假设检验}
\subsection{指数分布参数的假设检验}
设$x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim\operatorname{Exp}(1/\theta)$, 关于$\theta$可以考虑如下三个检验问题:
\begin{enumerate}
	\item\label{ejy1} $H_0\colon\theta=\theta_0\leftrightarrow H_1\colon\theta\neq\theta_0$,
	\item\label{ejy2} $H_0\colon\theta\leqslant\theta_0\leftrightarrow H_1\colon\theta>\theta_0$,
	\item\label{ejy3} $H_0\colon\theta\geqslant\theta_0\leftrightarrow H_1\colon\theta<\theta_0$.
\end{enumerate}
考虑$\theta$的无偏估计$\bar x$, 当$\theta=\theta_0$时,有
\begin{align*}
	n\bar x=\sum_{i=1}^nx_i\sim\operatorname{Ga}(n,1/\theta_0).
\end{align*}
从而选取检验统计量:$\chi^2=\dfrac{2n\bar x}{\theta_0}\sim\chi^2(2n)$.

检验\ref{ejy1}的拒绝域:$\chi^2\leqslant\chi^2_{\frac{\alpha}{2}}(2n)$或$\chi^2\geq\chi^2_{1-\frac{\alpha}{2}}(2n)$.

检验\ref{ejy2}的拒绝域:$\chi^2\geqslant\chi^2_{1-\alpha}(2n)$

检验\ref{ejy3}的拒绝域:$\chi^2\leqslant\chi^2_\alpha(2n)$
\subsection{比例$p$的检验}
比例$p$可看做某事件发生的概率, 即可看做二点分布$b(1,p)$中的参数. 作$n$次独立实验, 以$x$记该事件发生的次数, 则$x\sim b(n,p)$. 我们可以根据$x$检验$p$的一些假设:

\textbf{首先是$H_0\colon p\leqslant p_0\leftrightarrow H_1\colon p>p_0$}:

直观上看拒绝域为$W=\{x\geqslant c\}$, $c$为一个非负整数. 对给定的$\alpha$, 要找到
\begin{align*}
	\mathbb P(x\geqslant c;p_0)=\sum_{i=c}^n\binom{n}{i}p_0^i(1-p_0)^{n-i} =\alpha
\end{align*}
是困难的. 因此比较常见的是找一个$c_0$, 使得
\begin{align*}
	\sum_{i=c_0+1}^n\binom{n}{i}p_0^i(1-p_0)^{n-i}<\alpha<\sum_{i=c_0}^n\binom{n}{i}p_0^i(1-p_0)^{n-i}.
\end{align*}
于是可取$c=c_0+1$,即满足不等式的最小整数, 此时相当于把显著性水平降低了.

然而在离散场合, 用$p$值作检验较为简便, 这时可以不用找$c_0$, 而只需要更具观测值$x=x_0$计算检验的$p$值, 即$p=\mathbb P_{p_0}(x\geqslant x_0)$.

\textbf{另外的情形是类似的}
\subsection{大样本检验}
\textbf{对二点分布$b(1,p)$}, 在大样本下利用中心极限定理有
\begin{align*}
	\bar p\stackrel{\cdot}{\sim}\mathcal N(p,p(1-p)/n).
\end{align*}
采用如下检验统计量
\begin{align*}
	u=\dfrac{\sqrt{n}(\bar x-p_0)}{\sqrt{\hat p(1-\hat p)}}\stackrel{\cdot}{\sim}\mathcal N(0,1),\quad \hat p=\hat p_{\operatorname{MLE}}.
\end{align*}
对于更一般的, 若
\begin{align*}
	x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim F(x;\theta).
\end{align*}
又设该总体均值为$\theta$, 方差为$\sigma^2(\theta)$是$\theta$的函数.检验统计量采用:
\begin{align*}
	u=\dfrac{\sqrt{n}(\bar x-\theta_0)}{\sqrt{\sigma^2(\hat\theta)}}\stackrel{\cdot}{\sim}\mathcal N(0,1),\quad \hat\theta=\hat\theta_{\operatorname{MLE}}.
\end{align*}
对于检验问题
\begin{enumerate}
	\item\label{pjy1} $H_0\colon\theta=\theta_0\leftrightarrow H_1\colon\theta\neq\theta_0$,
	\item\label{pjy2} $H_0\colon\theta\leqslant\theta_0\leftrightarrow H_1\colon\theta>\theta_0$,
	\item\label{pjy3} $H_0\colon\theta\geqslant\theta_0\leftrightarrow H_1\colon\theta<\theta_0$.
\end{enumerate}
拒绝域依次为
\begin{align*}
	W_1=\{|u|\geqslant u_{1-\frac{\alpha}{2}}\},\quad W_2=\{u\geqslant u_{1-\alpha}\},\quad W_3=\{u\leqslant u_\alpha\}.
\end{align*}

\textbf{关于两总体比例差$p_1-p_2$的大样本检验问题}:
\begin{enumerate}
	\item $H_0\colon p_1-p_2=\delta\leftrightarrow H_1\colon p_1-p_2\neq\delta$,
	\item $H_0\colon p_1-p_2\leqslant\delta\leftrightarrow H_1\colon p_1-p_2>\delta$,
	\item $H_0\colon p_1-p_2\geqslant\delta\leftrightarrow H_1\colon p_1-p_2<\delta$.
\end{enumerate}
由中心极限定理有
\begin{align*}
	\dfrac{(\bar p_1-\bar p_2)-\delta}{\sqrt{\dfrac{\bar p_1(1-\bar p_1)}{n_1}+\dfrac{\bar p_2(1-\bar p_2)}{n_2}}}\stackrel{\cdot}{\sim}\mathcal N(0,1).
\end{align*}
在$H_0$中, 取$\delta=0$, 令
\begin{align*}
	\hat p=\dfrac{1}{n_1+n_2}\left(\sum x_i+\sum y_i\right)=\dfrac{1}{n_1+n_2}(n_1\bar p_1+n_2\bar p_2).
\end{align*}
可以选取检验统计量:
\begin{align*}
	u=\dfrac{(\bar p_1-\bar p_2)}{\sqrt{\left(\dfrac{1}{m}+\dfrac{1}{n}\right)\hat p(1-\hat p)}}\sim\mathcal N(0,1).
\end{align*}

\textbf{Poisson分布的大样本检验}:
设$x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim\mathcal P(\lambda)$, 有$\mathbb E=\operatorname{Var}=\lambda$.

检验问题: $\lambda\leftrightsquigarrow \lambda_0$.

当样本比较大时, 由中心极限定理有:$\bar x\stackrel{\cdot}{\sim}\mathcal N(\lambda,\lambda/n)$.

选取检验统计量:
\begin{align*}
	u=\dfrac{\sqrt{n}(\bar x-\lambda_0)}{\sqrt{\hat \lambda_{\operatorname{MLE}}}}=\dfrac{\sqrt{n}(\bar x-\lambda_0)}{\sqrt{\bar x}}=\dfrac{\sqrt{n}(\bar x-\lambda_0)}{\sqrt{\lambda_0}}\stackrel{\cdot}{\sim}\mathcal N(0,1).
\end{align*}
\newpage
\section{似然比检验与分布拟合检验}
\subsection{似然比检验}
\begin{fdefinition}\begin{definition}[广义似然比]
	设$x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim p(x;\theta)$, 考虑检验问题: $H_0\colon\theta\in\Theta_0\leftrightarrow H_1\colon\theta\in\Theta_1=\Theta\setminus\Theta_0$. 称统计量
	\begin{align}\label{gysrb}
		\Lambda(x_1,\cdots,x_n)=\dfrac{\sup\limits_{\theta\in\Theta}p(x_1,\cdots,x_n;\theta)}{\sup\limits_{\theta\in\Theta_0}p(x_1,\cdots,x_n;\theta)}
	\end{align}
	为该假设的\textbf{似然比(likelihood ratio)}, 也称为\textbf{广义似然比}.
\end{definition}\end{fdefinition}

\eqref{gysrb}式可以写成如下形式:
\begin{align*}
	\Lambda(x_1,\cdots,x_n)=\dfrac{p(x_1,\cdots,x_n;\hat\theta)}{拍(x_1,\cdots,x_n;\hat\theta_0)},
\end{align*}
其中$\hat\theta$为$\Theta$上$\theta$的MLE, $\hat\theta_0$为$\Theta_0$上$\theta$的MLE.

\begin{fexample}\begin{example}
	设$x_1,\cdots,x_n\,\,\operatorname{i.i.d.}\sim\mathcal N(\mu,\sigma^2)$, $\mu,\sigma^2$均未知, 试求检验问题$H_0\colon\mu=\mu_0\leftrightarrow H_1\colon\mu\neq\mu_0$的显著性水平为$\alpha$的似然比检验.
	
	$\theta=(\mu,\sigma^2)$, 从而
	\begin{align*}
		\Theta=\{(\mu,\sigma)\colon -\infty<\mu<\infty, \sigma^2>0\},\quad \Theta_0=\{(\mu_0,\sigma^2)\colon\sigma^2>0\}.
	\end{align*}
	当$\mu,\sigma^2$未知时, 易知在$\Theta$上的MLE分别为
	\begin{align*}
		\hat\mu=\bar x,\quad \widehat{\sigma^2}=\dfrac{1}{n}\sum_{i=1}^n(x_i-\bar x)^2.
	\end{align*}
	当$\mu=\mu_0$已知, 在$\Theta_0$上$\sigma_0^2$的MLE为
	\begin{align*}
		\widehat{\sigma_0^2}\dfrac{1}{n}\sum_{i=1}^n(x_i-\mu_0)^2.
	\end{align*}
	所以广义似然比取为
	\begin{align*}
		\Lambda(x_1,\cdots,x_n)=&\dfrac{\sup\limits_{\theta\in\Theta}p(x_1,\cdots,x_n;\theta)}{\sup\limits_{\theta\in\Theta_0}p(x_1,\cdots,x_n;\theta)}=\dfrac{p(x_1,\cdots,x_n;\theta)}{p(x_1,\cdots,x_n;\hat\theta)}\\
		=&\dfrac{\left(2\pi\widehat{\sigma^2}\right)^{-\frac{n}{2}}\exp\left\{-\dfrac{1}{2\widehat{\sigma^2}}\displaystyle\sum_{i=1}^n\left(x_i-\bar x\right)^2\right\}}{\left(2\pi\widehat{\sigma_0^2}\right)^{-\frac{n}{2}}\exp\left\{-\dfrac{1}{2\widehat{\sigma_0^2}}\displaystyle\sum_{i=1}^n\left(x_i-\mu_0\right)^2\right\}}=\left(\dfrac{\widehat{\sigma_0^2}}{\widehat{\sigma^2}}\right)^{\frac{n}{2}}\\
		=&\left(\dfrac{\sum\limits_{i=1}^n(x_i-\bar x)^2+n(\bar x-\mu_0)^2}{\sum\limits_{i=1}^n(x_i-\bar x)^2}\right)^{\frac{n}{2}}=\left(1+\dfrac{n(\bar x-\mu_0)^2}{(n-1)s^2}\right)^{\frac{n}{2}}.
	\end{align*}
	若令$t=\dfrac{\bar x-\mu_0}{s/\sqrt{n}}\sim t(n-1)$, 则$\Lambda(x_1,\cdots,x_n)=\left(1+\dfrac{t^2}{n-1}\right)^{\frac{n}{2}}$. 拒绝域为
	\begin{align*}
		W=\left\{|t|\geqslant t_{1-\frac{\alpha}{2}}(n-1)\right\}=\left\{\Lambda(x_1,\cdots,x_n)\geqslant\left(1+\dfrac{d^2}{n-1}\right)^{\frac{n}{2}}\right\},\quad d=t_{1-\frac{\alpha}{2}}(n-1).
	\end{align*}
	若令$F=\dfrac{(\bar x-\mu_0)^2}{s^2/n}\sim F(1,n-1)$, 则$\Lambda(x_1,\cdots,x_n)=\left(1+\dfrac{F}{n-1}\right)^{\frac{n}{2}}$. 拒绝域为
	\begin{align*}
		W=\left\{F\geqslant F_{1-\alpha}(1,n-1)\right\}=\left\{\Lambda(x_1,\cdots,x_n)\geqslant \left(1+\dfrac{d_1}{n-1}\right)^{\frac{n}{2}}\right\},\\d_1=F_{1-\alpha}(1,n-1).
	\end{align*}
	这说明这时的$t$检验和$F$检验是等价的.
\end{example}\end{fexample}
\subsection{$\chi^2$拟合优度检验}
\subsubsection{分类数据的$\chi^2$检验法}
将随机试验可能的结果的全体$\Omega$分为$m$个互不相容的事件,
\begin{align*}
	A_1,\cdots,A_m\quad\operatorname{s.t.}\left(\sum_{i=1}^mA_i=\Omega, A_iA_j=\varnothing , i\neq j, i,j=1,2,\cdots,m \right).
\end{align*}
可以计算$p_{i0}=\mathbb P(A_i),\quad i=1,2,\cdot,m.$

建立假设 $H_0\colon p_i=p_{i0},\forall i$, 其中$p_i$是已知量, 即存在一个已知分布$\mathbb P(X=t_i)=p_i, \forall i$.

\paragraph{情形一: 诸$p_{i0}$均已知时, 理论分布完全已知.} 此时若$H_0$成立, 则对每一类$A_i$, 其频率$N_i/n$与概率$p_{i0}$应较接近. 即观测频数与理论频数$np_{i0}$应相差不大. 据此, 英国统计学家 K.Pearson 提出如下定理:
\begin{ftheorem}\begin{theorem}[K.Pearson]
	若$n$充分大$(\geqslant 50)$, 则当$H_0$为真时(不论$H_0$中的分布是什么分布), 检验统计量总是近似地服从自由度为$m-1$的$\chi^2$分布
	\begin{align*}
		\chi^2=\sum_{i=1}^m\dfrac{(N_i-np_{i0})^2}{np_{i0}}\stackrel{\cdot}{\sim}(m-1).
	\end{align*}
	其中$N_i$是$n$个样本中属于$A_i$的样本观测值(观测频数), $np_{i0}$为期望频数(理论频数).
\end{theorem}\end{ftheorem} 

称检验假设$H_0$的统计量为Pearson统计量
\begin{align*}
	\chi^2=\sum_{i=1}^m\dfrac{(N_i-np_{i0})^2}{np_{i0}}=\sum_{i=1}^m\dfrac{N_i^2}{np_{i0}}-n.
\end{align*}
拒绝域为: $W=\{\chi^2\geqslant\chi^2_{1-\alpha}(m-1)\}$.

于是在$H_0$为真的假设下
\begin{align*}
	\chi^2=\sum_{i=1}^m\dfrac{(N_i-np_{i0})^2}{np_{i0}}\geqslant\chi^2_{1-\alpha}(m-1),
\end{align*}
则在显著性水平$\alpha$下拒绝$H_0$, 否则就接受.
\begin{fexample}\begin{example}
	把一颗骰子重复抛掷$60$次, 结果为出现点数$1,2,3,4,5,6$对应的频数为$7,8,12,11,9,13$. 试检验这颗骰子的六个面是否均匀? (在显著性水平$\alpha=0.05$下)
	
	给出零假设$H_0\colon \mathbb P\{X_i\}=1/6,\quad i=1,\cdots,6$ (即$H_0\colon \text{是均匀的.}$)
	
	在$H_0$为真的前提下, $p_{i0}=1/6,\forall i$. $m=6$,
	\begin{align*}
		\chi^2=\sum_{i=1}^m\dfrac{(N_i-np_{i0})^2}{np_{i0}}=\dfrac{(7-10)^2}{10}+\dfrac{(8-10)^2}{10}+\dfrac{(12-10)^2}{10}\\+\dfrac{(11-10)^2}{10}+\dfrac{(9-10)^2}{10}+\dfrac{(13-10)^2}{10}=2.8
	\end{align*}
	然而$\chi^2=2.8\leqslant\chi^2_{1-0.05}(5)=11.0705$, 故接受$H_0$, 认为这颗骰子六个面是均匀的.
\end{example}\end{fexample}

\begin{fexample}\begin{example}
	一家工厂分早、中、晚三班，每班$8$小时, 近期发生了一些事故共$15$次, 记录早班$6$次, 中班$3$次, 晚班$6$次. 据此怀疑事故发生率与班次有关, 比方说, 中班事故率小些(表面上的差异), 要用这些数据来检验一下. 
	
	根据题意需要检验假设 $H_0\colon \mathbb P\{X=i\}=1/3,\quad i=1,2,3.$ (即$H_0\colon$事故发生率与班次无关.)
	
	$np_i=15/3=5$, $\chi^2=(1^2+2^2+1^2)/5=1.2$, 注意到$\chi^2=1.2\leqslant\chi^2_{0.95}(2)=5.9915$. 从而接受$H_0$, 即认为事故发生率与班次无关. 
	
	当总事故达到$90$而仍维持上述比例$6\colon 3\colon 6$时, $\chi^2=7.2\geqslant\chi^2_{0.95}(2)=5.9915$, 这时候认为事故发生率与班次有关. ($p=\mathbb P(\chi^2\geqslant 7.2)=0.03$)
	
	这表明观察数$n=15$太小, 随机性的影响就大了. 当观察的总事故达到$90$而仍维持相同的比例, 则$p$值降到$0.05$以下, 因而有较充分的理由认为三个班次有差异. 在$15$这么小的观察数之下, 对米钱这个结果, 只宜解释为: 一方面数据能提供事故率与班次有关的支持, 一方面也认为表面上的差异究竟不宜完全忽视, 值得进一步观察.
\end{example}\end{fexample}

\paragraph{情形二: 诸$p_{i0}$不完全已知时, 理论分布已知带有未知参数.} 若诸$p_{i0}, i=1,\cdots,m$由$r$ ($r<m$) 个未知参数$\theta_1,\cdots,\theta_r$确定, 即$p_{i0}=p_{i0}(\theta_1,\cdots,\theta_r),\quad i=1,\cdots,m$. 

首先给出$\theta_1,\cdots,\theta_r$的MLE$\hat\theta_1,\cdots,\hat\theta_r$, 然后给出诸$p_{i0},\quad i=1,\cdots,m$的MLE$\hat p_{i0}=p_{i0}(\hat\theta_1,\cdots,\hat\theta_r)$. Fisher给出了如下定理
\begin{ftheorem}\begin{theorem}[Fisher]
	在$H_0$为真时, 检验统计量
	\begin{align*}
		\chi^2=\sum_{i=1}^m\dfrac{\left(N_i-n\hat p_{i0}\right)^2}{n\hat p_{i0}}\stackrel{\cdot}{\sim}\chi^2(m-r-1).
	\end{align*}
\end{theorem}\end{ftheorem}
于是检验拒绝域为$W=\{\chi^2\geqslant \chi^2_{1-\alpha}(m-r-1)\}$.

如上用来假设检验总体分布的检验方法称为$\chi^2$拟合优度检验法.
\begin{fremark}\begin{rmk}
	$\chi^2$拟合优度检验方法使用时, 必须注意$n$要足够大, 且$np_{i0}$不太小这两个条件. 一般要求样本容量$n$不小于$50$, 以及各类观察值不小于$5$, 每个$np_{i0}$都不小于$5$, 而且$np_{i0}$最好都在$10$以上, 否则应当适当的合并区间.
\end{rmk}\end{fremark}

\begin{fexample}\begin{example}
	教材 P346(文档 P368) 例 7.4.3.
\end{example}\end{fexample}
\subsubsection{一般分布的$\chi^2$检验法(总体为离散分布或连续分布)}
假设检验的问题为$H_0\colon F(x)=F(x_0)$, 其中$F(x_0)$为一个已知分布.

仍取$m-1$个实数, 使得$-\infty<a_1<\cdots<a_{m-1}<+\infty$. 这将实数族分为$m$个区间
\begin{align*}
	\mathbb R=\bigsqcup\{(-\infty,a_1],(a_1,a_2],\cdots,(a_{m-1},+\infty)\}.
\end{align*}
当观测值落入第$i$个区间内, 就把它看作属于第$i$类, 因此这$m$个区间就相当于$m$个类. 以$N_i$表示样本的观测值$x_1,\cdots,x_n $落入区间$(a_{i-1},a_i]$内的个数.

记$p_{10}=F_0(a_1)$, $p_{m0}=1-F_0(a_{m-1})$, $p_{i0}=F_0(a_i)-F_0(a_{i-1}),\quad i=2,\cdots,m-1$.

在$H_0$为真时, 观测值落入第$i$个区间的观测频数$N_i$与理论频数$np_{i0}$应该相差不大. 经过上述处理, 此问题转化为分类数据的检验问题. 选择Pearson统计量
\begin{align*}
	\chi^2=\sum_{i=1}^m\dfrac{(N_i-np_{i0})^2}{np_{i0}}=\sum_{i=1}^m\dfrac{N_i^2}{np_{i0}}-n,
\end{align*}
拒绝域为$W=\{\chi^2\geqslant\chi^2_{1-\alpha}(m-1)\}$.

\subsubsection{一般分布中含有未知参数的$\chi^2$检验法}
假设检验为$H_0\colon F_0(x;\theta_1,\cdots,\theta_r)\leftrightarrow H_1\colon F(x)\neq F_0$, 其中$F_0$的形式已知, 参数$\theta_1,\cdots,\theta_r$未知.

设$(X_1,\cdots,X_n)\,\,\operatorname{i.i.d.}\sim X$, $(x_1,\cdots,x_n)$为其观测值, 首先用MLE得到参数的估计. 由此得到$F_0(x;\hat\theta_1,\cdots,\hat\theta_r)$.

记$\hat p_{10}=F_0(a_1;\hat\theta_1,\cdots,\hat\theta_r)$, $\hat p_{m0}=1-F(a_{m-1};\hat\theta_1,\cdots,\hat\theta_r)$, $\hat p_{i0}=F(a_i;\hat\theta_1,\cdots,\hat\theta_r)-F(a_{i-1};\hat\theta_1,\cdots,\hat\theta_r),\quad i=2,\cdots,m-1$.

由此可以看到, 此问题又可以转化为分类数据的假设检验问题. 检验统计量为
\begin{align*}
	\chi^2=\sum_{i=1}^m\dfrac{\left(N_i-n\hat p_{i0}\right)^2}{n\hat p_{i0}}=\sum_{i=1}^m\dfrac{N_i^2}{n\hat p_{i0}}-n,
\end{align*}
拒绝域为$W=\{\chi^2\geqslant \chi^2_{1-\alpha}(m-r-1)\}$.
\subsection{列联表独立性检验}
提出假设 $H_0\colon p_{ij}=p_{i\cdot}p_{\cdot j}$. 检验统计量为
\begin{align*}
	\chi^2=\sum_{i=1}^r\sum_{j=1}^c\dfrac{(n_{ij}-n\hat p_{ij})^2}{n\hat p_{ij}}=n\sum_i\sum_j\dfrac{(n_{ij}-n_{i\cdot}n_{\cdot j}/n)^2}{n_{i\cdot}n_{\cdot j}},
\end{align*}
且在$H_0$真时, 有$\chi^2\stackrel{\cdot}{\sim}\chi^2((r-1)(c-1))$. 其中$\hat p_{i\cdot}=n_{i\cdot}/n$, $\hat p_{\cdot j}=n_{\cdot j}/n$. 拒绝域为$W=\{\chi^2\geqslant \chi^2_{1-\alpha}((r-1)(c-1)\}$.

特别的, 对二乘二列联表, 拒绝域为
\begin{align*}
	W=\left\{\chi^2=\dfrac{n(n_{11}n_{22}-n_{12}n_{21})^2}{n_{1\cdot}n_{2\cdot}n_{\cdot 1}n_{\cdot 2}}\geqslant\chi^2_{1-\alpha}(1)\right\}.
\end{align*}

\newpage
\section{正态性检验}

\section{秩和检验}

\chapter{方差分析与回归分析}
\section{方差分析}
\begin{fdefinition}\begin{definition}[因子]
	影响试验指标的条件, 用$A,B,C$表示.
\end{definition}\end{fdefinition}
\begin{fdefinition}\begin{definition}[水平]
	因子所处的不同状态, 因子$A$的不同水平用$A_1,A_2,\cdots $表示.
\end{definition}\end{fdefinition}
\begin{fexample}\begin{example}
	在饲料养鸡增肥的研究中, 把饲料成为因子, 记作$A$. 把三种不同的配方称为因子$A$的三个水平, 记作$A_1,A_2,A_3$.
\end{example}\end{fexample}
\subsection{单因子试验的方差分析}
\begin{fdefinition}\begin{definition}
	只考虑一个因子的试验称为单因子试验.
\end{definition}\end{fdefinition}
通常, 在单因子试验中, 记因子为$A$, 设其有$r$个水平, 记为$A_1,\cdots,A_r$, 在每一个水平下考察的指标可以看成一个总体, 现在有$r$个水平, 故有$r$个总体, 假定:
\begin{itemize}
	\item 每一个总体均为正态总体, 记为$\mathcal N(\mu_i,\sigma_i^2),\quad i=1,\cdots,r$.
	\item 各总体的方差相同, 记为$\sigma_1^2=\sigma_2^2=\cdots=\sigma_r^2=\sigma^2$.
	\item 从每一个总体中抽取的样本都是互相独立的, 即所有的实验结果$y_{ij}$都相互独立.
\end{itemize}
对如下假设进行检验:
\begin{align*}
	H_0\colon\mu_1=\mu_2=\cdots=\mu_r\leftrightarrow H_1\colon \exists i,j \operatorname{s.t.}\mu_i\neq\mu_j.
\end{align*}
若$H_0$成立, 称因子$A$不显著, 反之称其显著.

为了简单起见, 先假设各个水平下试验的重复数相同. 设从第$i$个水平下的总体获得$m$个实验结果, 用$y_{ij}$表示第$i$个总体第$j$次重复试验结果, 共得如下$r\times m$个试验结果:
\begin{align*}
	y_{ij},\quad i=1,\cdots, r,\quad j=1,\cdots ,m,
\end{align*}
其中$r$为水平数, $m$为重复数, $i$为水平编号, $j$为重复序号.

水平$A_i$下的实验结果$y_{ij}$与该水平下的指标均值$\mu_i$总是有差距的, 记$\varepsilon_{ij}=y_{ij}-\mu_{i}$, 称$\varepsilon_{ij}$为随机误差, 于是有
\begin{align*}
	y_{ij}=\mu_i+\varepsilon_{ij}.
\end{align*}
上式称为实验结果$y_{ij}$的数据结构式. 把三个假定用于数据结构式就可以有单因子方差分析的统计模型:
\begin{align*}
	\begin{cases}
		y_{ij}=\mu_i+\varepsilon_{ij},\quad i=1,\cdots,r,\quad j=1,\cdots,m,\\
		\text{诸$\varepsilon_{ij}$互相独立, 且都服从$\mathcal N(0,\sigma^2)$.}
	\end{cases}
\end{align*}
\begin{fdefinition}\begin{definition}
	诸$\mu_i$的平均
	\begin{align*}
		\mu=\dfrac{1}{r}\sum_{i=1}^r\mu_i
	\end{align*}
	称为\textbf{总均值}, 或称\textbf{一般均值}. 第$i$个水平下的均值$\mu_i$与总均值$\mu$的差
	\begin{align*}
		a_i=\mu_i-\mu,\quad i=1,2,\cdots, r
	\end{align*}
	称为因子$A$的第$i$个水平的\textbf{主效应}, 简称为	$A_i$的\textbf{水平效应}.
\end{definition}\end{fdefinition}
容易看出
\begin{align*}
	\sum_{i=1}^ra_i=0,\quad \mu_i=\mu+a_i.
\end{align*}
这表明第$i$个总体的均值时由总均值与该水平的效应叠加而成的从而模型可以改写为
\begin{align*}
	\begin{cases}
		y_{ij}=\mu+a_i+\varepsilon_{ij},\quad i=1,\cdots,r,\quad j=1,\cdots,m,\\
		\sum\limits_{i=1}^ra_i=0,\\
		\text{诸$\varepsilon_{ij}$互相独立, 且都服从$\mathcal N(0,\sigma^2)$.}
	\end{cases}
\end{align*}
从而零假设改写为$H_0\colon a_1,\cdots,a_r=0\leftrightarrow H_1\colon \exists i\operatorname{s.t.}a_i\neq 0$.
\subsection{平方和分解}
\begin{align*}
	T_i=&\sum_{j=1}^my_{ij},\quad \bar y_{i\cdot}=\dfrac{T_i}{m},\quad i=1,\cdots,r,\\
	T=&\sum_{i=1}^rT_i,\quad \bar y=\dfrac{ T}{r\cdot m}=\dfrac{T}{n},\quad n=rm=\text{总试验次数}.
\end{align*}
数据之间也是有差异的, 数据$y_{ij}$与总均值$\bar y$间的偏差可用$y_{ij}-\bar y$表示, 它可分解为两个偏差之和
\begin{align*}
	y_{ij}-\bar y=(y_{ij}-\bar y_{i\cdot})+(\bar y_{i\cdot}-\bar y).
\end{align*}
记
\begin{align*}
	\bar\varepsilon_{i\cdot}=\dfrac{1}{m}\sum_{j=1}^m\varepsilon_{ij},\quad\bar \varepsilon=\dfrac{1}{r}\sum_{i=1}^r\bar\varepsilon_{i\cdot}=\dfrac{1}{n}\sum_{i=1}^r\sum_{j=1}^m\varepsilon_{ij}.
\end{align*}
\begin{fdefinition}\begin{definition}
	称$y_{ij}-\bar y_{i\cdot}=\varepsilon_{ij}-\bar \varepsilon_{i\cdot}$为组内偏差;
	
	称$\bar y_{i\cdot}-\bar y=a_i+\bar \varepsilon_{i\cdot}-\bar\varepsilon$为组间偏差;
	
	称$Q=\sum\limits_{i=1}^k(y_i-\bar y)^2$为$k$个数据的偏差平方和. 自由度$f_Q=k-1$;
\end{definition}\end{fdefinition}
\begin{fdefinition}\begin{definition}
	总偏差平方和为$S_T=\sum\sum(y_{ij}-\bar y)^2,\quad f_T=n-1=mc-1$;
	
	组内偏差平方和, 也成误差偏差平方和为$$S_e=\sum\sum(y_{ij}-\bar y_{i\cdot})^2,\quad f_e=n-r;$$
	
	组间偏差平方和, 也称因子$A$的偏差平方和为$$S_A=\sum\sum(\bar y_{i\cdot}-\bar y)^2=m\sum_{i=1}^r(\bar y_{i\cdot}-\bar y)^2,\quad f_A=r-1.$$
\end{definition}\end{fdefinition}
\begin{ftheorem}\begin{theorem}[总平方和分解公式]
	$S_T=S_A+S_e,\quad f_T=f_A+f_e.$
\end{theorem}\end{ftheorem}

\subsection{检验方法}
\begin{fdefinition}\begin{definition}[均方]
	定义为$MS=Q/f_Q$, 其意为平均每个自由度上有多少平方和, 它较好的度量了一组数据的离散程度.
	
	组内方差: $MS_e=S_e/f_e$;
	
	组间方差: $MS_A=S_A/f_A$.
\end{definition}\end{fdefinition}
用$F=\dfrac{MS_A}{MS_e}=\dfrac{S_A/f_A}{S_e/f_e}\sim =F(r-1,n-r)$作为检验$H_0\colon a_i=0,\forall i$的统计量.
\begin{ftheorem}\begin{theorem}
	在单因子方差分析模型及前述符号下, 则有
	\begin{itemize}
		\item $S_e/\sigma^2\sim\chi^2(n-r)$, 从而$\mathbb E(S_e)=(n-r)\sigma^2$.
		\item $\mathbb E(S_A)=(r-1)\sigma^2+m\sum_{i=1}^ra_i^2$, 进一步, 若$H_0$成立, 则有$S_A/\sigma^2\simeq\chi^2(r-1)$.
		\item $S_A$与$S_e$独立.
	\end{itemize}
\end{theorem}\end{ftheorem}


\subsection{参数估计}










\end{document}